[논문 리뷰] Hope Speech detection in under-resourced Kannada language

Adeep Hande, Ruba Priyadharshini외 4명|arXiv (Cornell University)|2021. 08. 10.

Hate Speech and Cyberbullying Detection인용 수 13

한 줄 요약

이 논문은 유튜브의 6,176개의 코드 믹스드 캔나다-영어 댓글에서 수작업으로 주석 처리된 희망 언어(지지적, 긍정적 내용)를 포함한 다국어 데이터셋인 KanHope을 소개한다. 이를 바탕으로 영어 번역을 활용하여 성능을 향상시킨 이중 채널 BERT 모델인 DC-BERT4HOPE를 제안하며, 저자원 캔나다어에서 긍정적이고 격려하는 온라인 콘텐츠를 탐지하는 데서 가중 F1 스코어 0.756을 달성하여 기준 모델들을 능가한다.

ABSTRACT

Numerous methods have been developed to monitor the spread of negativity in modern years by eliminating vulgar, offensive, and fierce comments from social media platforms. However, there are relatively lesser amounts of study that converges on embracing positivity, reinforcing supportive and reassuring content in online forums. Consequently, we propose creating an English-Kannada Hope speech dataset, KanHope and comparing several experiments to benchmark the dataset. The dataset consists of 6,176 user-generated comments in code mixed Kannada scraped from YouTube and manually annotated as bearing hope speech or Not-hope speech. In addition, we introduce DC-BERT4HOPE, a dual-channel model that uses the English translation of KanHope for additional training to promote hope speech detection. The approach achieves a weighted F1-score of 0.756, bettering other models. Henceforth, KanHope aims to instigate research in Kannada while broadly promoting researchers to take a pragmatic approach towards online content that encourages, positive, and supportive.

연구 동기 및 목표

• 캔나다어와 같이 저자원 언어에서 긍정적이고 지지적인 콘텐츠(희망 언어)를 탐지하기 위한 연구 부족을 해결하기 위해.
• 희망 언어 탐지 목적을 위해 수작업으로 주석 처리된 코드 믹스드 캔나다어 사용자 생성 댓글의 고품질 데이터셋을 구축하기 위해.
• 영어 번역을 활용하여 저자원 환경에서의 성능을 향상시키는 다국어 딥 러닝 모델을 개발하기 위해.
• 새로운 KanHope 데이터셋에서 최첨단 모델을 벤치마킹하고, 긍정적 콘텐츠에 대한 저자원 NLP 연구의 기반을 마련하기 위해.

제안 방법

• KanHope 데이터셋은 유튜브에서 6,176개의 코드 믹스드 캔나다어 댓글을 크롤링하여, '희망 언어' 또는 '희망 언어 아님' 카테고리로 수작업 주석 처리함.
• 원본 캔나다어 텍스트와 그 영어 번역을 동시에 처리할 수 있도록 설계된 이중 채널 BERT 기반 모델인 DC-BERT4HOPE를 개발함.
• 양방향 언어 채널의 표현을 통합하기 위해 교차 어텐션 메커니즘을 사용하여, 희망을 암시하는 표현의 맥락적 이해를 향상시킴.
• 일반화 및 강건성을 향상시키기 위해 다중 작업 학습 목표를 사용하여 KanHope 데이터셋에서 미세조정을 수행함.
• 표준 NLP 평가 지표(가중 F1 스코어, 정밀도, 재현율 등)를 사용하여 모델를 훈련 및 평가함.
• 특히 저자원 환경에서의 일반화를 향상시키기 위해 번역 기반 데이터 증강 기법을 적용함.

실험 결과

연구 질문

• RQ1 제한된 주석 처리 데이터만을 사용하여 다국어로 미세조정된 BERT 모델이 저자원 캔나다어 텍스트에서 희망 언어를 효과적으로 탐지할 수 있는가?
• RQ2 캔나다어 댓글의 영어 번역을 활용함으로써 이중 채널 아키텍처에서의 희망 언어 탐지 성능이 단일 언어 모델 대비 어떻게 향상되는가?
• RQ3 KanHope 데이터셋에서 DC-BERT4HOPE의 성능은 F1 스코어 및 기타 평가 지표 측면에서 기준 모델들과 비교해 볼 때 어떻게 되는가?
• RQ4 번역을 통한 데이터 증강이 저자원 환경에서 모델의 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 기존 데이터셋과 비교해 볼 때, 제안된 데이터셋은 희망 언어 탐지에 있어 언어 다양성과 주석 품질 측면에서 어떻게 다른가?

주요 결과

• DC-BERT4HOPE 모델은 KanHope 데이터셋에서 가중 F1 스코어 0.756을 달성하여 모든 기준 모델들을 능가함.
• 이중 채널 아키텍처에서 영어 번역을 활용한 결과 모델 성능이 크게 향상되어, 저자원 언어에서 다국어 미세조정의 가치를 입증함.
• KanHope 데이터셋은 수작업 주석 처리된 6,176개의 댓글을 포함하여 향후 저자원 언어의 희망 언어 탐지 연구에 유용한 기준이 됨.
• 모델 성능은 다국어 신호를 활용함으로써 저자원 NLP 작업에서 데이터 부족 문제를 효과적으로 완화시킬 수 있음을 시사함.
• 본 연구는 캔나다어를 비롯한 인도어에서 긍정적 정서 및 지지적 콘텐츠 탐지에 대한 향후 연구를 위한 기초 데이터셋으로 KanHope를 확립함.
• 결과는 다국어 전이 학습이 캔나다어와 같은 저자원 환경에서 NLP 모델 성능 향상에 실현 가능한 전략임을 시사함.