[논문 리뷰] Hostility Detection Dataset in Hindi

Mohit Bhardwaj, Md Shad Akhtar외 3명|arXiv (Cornell University)|2020. 11. 06.

Hate Speech and Cyberbullying Detection참고 문헌 9인용 수 16

한 줄 요약

이 논문은 약 8,200개의 소셜미디어 게시물로 구성된 새로운 수작업 주석 처리된 히ン두어 적대성 탐지 데이터셋을 소개한다. 이 데이터셋은 가짜 뉴스, 혐오 발언, 모욕적 언어, 명예 훼손이라는 네 가지 적대성 차원과 비적대성 클래스를 포함하며, 클래스 간의 중복으로 인해 다중 레이블 태깅을 지원한다. 이 데이터셋은 CONSTRAINT-2021 공동 과제의 일환으로 공개되었으며, 패닉과 같은 위기 상황에서 저자원 언어 NLP에 유용함을 보여준다. m-BERT 임베딩을 사용한 베이스라인 모델은 총괄적 분류에서 최고의 F1 스코어 84.11%를 기록하였다.

ABSTRACT

In this paper, we present a novel hostility detection dataset in Hindi language. We collect and manually annotate ~8200 online posts. The annotated dataset covers four hostility dimensions: fake news, hate speech, offensive, and defamation posts, along with a non-hostile label. The hostile posts are also considered for multi-label tags due to a significant overlap among the hostile classes. We release this dataset as part of the CONSTRAINT-2021 shared task on hostile post detection.

연구 동기 및 목표

• 히ン두어와 같은 저자원 인도어에서 대규모 다차원 적대성 탐지 데이터셋의 부족을 해결하기 위해.
• 가짜 뉴스, 혐오 발언, 모욕적 언어, 명예 훼손이라는 네 가지 적대성 차원을 포함한 약 8,200개의 히ン두어 소셜미디어 게시물을 수집하고 수작업으로 주석 처리하기 위해.
• 비적대성 대비 적대성(총체적) 및 다중 레이블(세부적) 분류 작업을 모두 지원하기 위해.
• 저자원 및 비상 상황에서의 적대성 탐지 연구를 촉진하기 위해 CONSTRAINT-2021 공동 과제의 일환으로 데이터셋을 공개하기 위해.
• 히ン두어 NLP의 후속 작업을 위한 벤치마크를 제공하기 위해 m-BERT 임베딩을 사용한 베이스라인 모델을 제공하기 위해.

제안 방법

• 약 8,200개의 온라인 히ン두어 게시물을 포럼, 채팅 룸, 게임 커뮤니티 등 다양한 소셜미디어 플랫폼에서 수집하여 데이터셋을 구축하였다.
• 각 게시물은 최대 네 가지 적대성 레이블(가짜, 혐오, 모욕적, 명예 훼손)과 비적대성 레이블을 수작업으로 주석 처리하였으며, 의미적 중복으로 인해 다중 레이블 분류가 가능하도록 하였다.
• 표준 히ン두어 정지어 목록을 사용하여 URL, 이모티콘, 알파벳 및 숫자 외의 문자(마침표를 제외) 및 정지어를 제거하는 전처리를 수행하였다.
• 다국어 BERT(m-BERT) 모델을 사용하여 문장 임베딩을 추출하였으며, 마지막 레이어의 토큰 표현을 평균화하여 문장 수준의 임베딩을 생성하였다.
• 총체적 및 세부적 분류 작업 모두에 대해 SVM, 로지스틱 회귀, 랜덤 포레스트, MLP의 네 가지 기존 기계학습 모델을 임베딩에 대해 훈련시켰다.
• 특히 세부적 분류 작업에서 데이터 불균형 문제가 심각하므로, SVM 및 로지스틱 회귀에서 클래스 가중치를 균형 조정하였다. 각 클래스의 훈련 샘플 수는 약 800개였다.

실험 결과

연구 질문

• RQ1 저자원 히ン두어 텍스트에서 다중 차원의 적대성을 탐지하는 데 있어 표준 기계학습 모델의 효과는 어떠한가?
• RQ2 히ン두어의 적대적 범주(예: 혐오, 모욕적, 명예 훼손) 간에 얼마나 많은 중복이 존재하는가? 이는 주석 처리 과정에서 어떻게 모델링되어야 하는가?
• RQ3 m-BERT 기반 문장 임베딩은 히ン두어 소셜미디어 콘텐츠의 적대성 탐지에 있어 의미적 신호를 효과적으로 포착할 수 있는가?
• RQ4 특히 소수의 클래스에 속하는 경우, 총체적 분류와 세부적 분류 간의 성능 격차는 어느 정도인가?
• RQ5 데이터 불균형은 세부적 적대성 탐지에서 모델 성능에 어떤 영향을 미치며, 이를 완화하기 위한 전략은 무엇인가?

주요 결과

• 데이터셋에는 총 4,358건의 적대성 게시물(최소한 하나의 레이블이 있는 3,834건 포함)과 4,358건의 비적대성 게시물이 포함되어 있으며, 네 가지 적대성 차원에 걸쳐 균형 잡힌 분포를 보였다.
• SVM이 총체적 분류에서 가장 높은 F1 스코어 84.11%를 기록하여, 로지스틱 회귀(83.98%), MLP(83.45%), 랜덤 포레스트(79.79%)를 모두 앞섰다.
• 세부적 분류에서 SVM은 혐오(47.49%), 모욕적(41.98%), 명예 훼손(43.57%) 클래스에서 최고의 F1 스코어를 기록하였다.
• 로지스틱 회귀는 가짜 뉴스 탐지에서 가장 뛰어난 성능을 보이며 F1 스코어 68.15%를 기록하여 다른 모델보다 유의미하게 뛰어났다.
• 혼동 행렬 분석 결과, 모델들이 명예 훼손 및 가짜 뉴스 클래스에서 가장 어려움을 겪었으며, 이는 높은 모호성 또는 클래스 불균형을 시사하였다.
• 데이터셋의 다중 레이블 기능은 중복되는 적대성 차원을 효과적으로 포착하였으며, 적대성 게시물의 26.7%가 두 개 이상의 카테고리에 레이블링되었다.