[논문 리뷰] 4chan & 8chan embeddings

Pierre Voué, Tom De Smedt외 1명|arXiv (Cornell University)|2020. 04. 02.

Molecular Junctions and Nanostructures인용 수 6

한 줄 요약

이 논문은 4chan과 8chan의 /pol/ 게시판에서 수집한 3000만 개 이상의 메시지를 기반으로 훈련한 대규모 단어 임베딩 모델을 소개한다. 이 모델은 독성 및 극단주의 언어 패턴을 포착한다. 결과적으로 생성된 0.4GB 크기의 임베딩 모델은 공개되어 있어 혐오 발언 탐지 및 독성 대화 분석 분야의 연구를 지원한다.

ABSTRACT

We have collected over 30M messages from the publicly available /pol/ message boards on 4chan and 8chan, and compiled them into a model of toxic language use. The trained word embeddings (0.4GB) are released for free and may be useful for further study on toxic discourse or to boost hate speech detection systems: https://textgain.com/8chan.

연구 동기 및 목표

• 익명의 이미지보드 포럼에서의 독성 및 극단주의 대화를 연구하기 위한 대규모로 공개 가능한 NLP 자원을 구축하기 위해.
• 4chan과 8chan의 /pol/ 게시판에서 특징적으로 나타나는 언어 패턴을 모델링하기 위해. 이들 게시판은 높은 독성과 극단주의 콘텐츠로 유명하다.
• 후속 작업인 혐오 발언 탐지 시스템의 성능 향상에 기여할 수 있는 사전 훈련된 단어 임베딩 모델을 제공하기 위해.
• 데이터셋과 훈련된 모델을 투명하게 공개하여 온라인 독성에 관한 재현 가능한 연구를 가능하게 하기 위해.

제안 방법

• 저자들은 공개 API와 웹 스크래핑을 통해 4chan과 8chan의 /pol/ 게시판에서 3000만 개 이상의 메시지를 수집했다.
• 텍스트는 토큰화, 소문자 변환, 비텍스트 콘텐츠 제거를 통해 전처리되었다.
• 스킵그램 모델을 사용한 음성 샘플링 기반의 표준적인 단어 표현 학습 방법을 통해 단어 임베딩을 훈련시켰다.
• 실제로 발생하는 독성 언어 패턴을 포착하기 위해, 대규모이고 다양한 온라인 익명 대화 코퍼스를 기반으로 모델을 훈련시켰다.
• 최종 임베딩 모델는 압축되어 0.4GB 크기의 파일로 공개되어 일반 사용자와 재사용에 활용 가능하다.
• 데이터셋과 모델은 arXiv에 호스팅되어 DOI를 통해 지속 가능한 인용이 가능하도록 연결되어 있다.

실험 결과

연구 질문

• RQ1 익명 포럼에서 발생하는 대규모 실세계 독성 대화는 어떻게 단어 임베딩을 통해 효과적으로 모델링할 수 있는가?
• RQ2 4chan과 8chan의 /pol/ 게시판에서 나타나는 주로 어떤 언어 패턴이 주류 온라인 대화와 구별되는가?
• RQ3 /pol/ 콘텐츠를 기반으로 사전 훈련된 임베딩 모델이 혐오 발언 탐지 시스템의 성능 향상에 어느 정도 기여할 수 있는가?
• RQ4 공개된 대규모 독성 온라인 콘텐츠 데이터셋은 NLP 및 계산사회과학 분야에서 재현 가능한 연구를 지원할 수 있는가?

주요 결과

• 저자들은 4chan과 8chan의 /pol/ 게시판에서 수집한 3000만 개 메시지를 기반으로 0.4GB 크기의 단어 임베딩 모델을 성공적으로 훈련하고 공개했다.
• 모델은 이러한 익명 포럼에서 흔히 나타나는 고빈도의 독성 및 극단주의 언어 패턴을 잘 포착하고 있다.
• 데이터셋과 모델는 arXiv를 통해 DOI를 통해 장기적인 재현성과 인용 가능성을 확보하고 공개되어 있다.
• 임베딩 모델는 후속 NLP 작업, 특히 혐오 발언 탐지에 직접적으로 활용 가능하도록 설계되어 있다.
• 공개된 자원은 온라인 독성에 대한 개방형 연구를 지원하며, 대규모로 루트화된 대화를 연구하는 데에 기여한다.