[논문 리뷰] Detecting Offensive Content in Open-domain Conversations using Two Stage Semi-supervision

Chandra Khatri, Behnam Hedayatnia외 4명|arXiv (Cornell University)|2018. 11. 30.

Hate Speech and Cyberbullying Detection인용 수 11

한 줄 요약

이 논문은 개방형 대화에서 민감한 언어를 탐지하기 위해 대규모 고품질 데이터셋을 부트스트랩하는 데 목적이 있는 이단계적 준지도 학습 방법을 제안한다. 블랙리스트를 활용해 서브레딧을 순위 매기고, 약한 지도 학습 모델을 반복적으로 개선하여 데이터 선택을 정교화함으로써, 외부 도메인 테스트 세트에서 최신 기술 수준의 F1 스코어 95.5%를 달성하였다. 이는 공개 데이터셋으로 훈련된 모델보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

As open-ended human-chatbot interaction becomes commonplace, sensitive content detection gains importance. In this work, we propose a two stage semi-supervised approach to bootstrap large-scale data for automatic sensitive language detection from publicly available web resources. We explore various data selection methods including 1) using a blacklist to rank online discussion forums by the level of their sensitiveness followed by randomly sampling utterances and 2) training a weakly supervised model in conjunction with the blacklist for scoring sentences from online discussion forums to curate a dataset. Our data collection strategy is flexible and allows the models to detect implicit sensitive content for which manual annotations may be difficult. We train models using publicly available annotated datasets as well as using the proposed large-scale semi-supervised datasets. We evaluate the performance of all the models on Twitter and Toxic Wikipedia comments testsets as well as on a manually annotated spoken language dataset collected during a large scale chatbot competition. Results show that a model trained on this collected data outperforms the baseline models by a large margin on both in-domain and out-of-domain testsets, achieving an F1 score of 95.5% on an out-of-domain testset compared to a score of 75% for models trained on public datasets. We also showcase that large scale two stage semi-supervision generalizes well across multiple classes of sensitivities such as hate speech, racism, sexual and pornographic content, etc. without even providing explicit labels for these classes, leading to an average recall of 95.5% versus the models trained using annotated public datasets which achieve an average recall of 73.2% across seven sensitive classes on out-of-domain testsets.

연구 동기 및 목표

• 수동 주석 처리가 비용이 많이 들고 맥락에 따라 달라지는 개방형 챗봇 상호작용에서 민감한 언어를 탐지하는 데 도전하는 것.
• 낮은 재현율과 암시적 또는 맥락 민감한 공격적 내용을 포착하지 못하는 블랙리스트의 한계를 극복하는 것.
• 각 민감도 유형에 대해 명시적 레이블이 필요 없이 다양한 민감도 유형에 일반화 가능한 확장 가능한 유연한 데이터 수집 전략을 개발하는 것.
• 대규모 준지도 학습 데이터를 활용하여 도메인 내 및 도메인 외 테스트 세트에서의 모델 성능을 향상시키는 것.
• 부트스트랩된 데이터로 훈련된 모델이 암시적, 미묘하거나 문화적으로 뉘앙스가 있는 공격적 언어에 더 잘 일반화됨을 보여주는 것.

제안 방법

• 공격적 단어의 시드 블랙리스트를 사용해 민감도 수준에 따라 서브레딧을 순위 매기고, 가장 민감도가 높고 낮은 커뮤니티에서 콘텐츠를 선별하는 것.
• 고민감도 및 저민감도 서브레딧에서 샘플링된 균형 잡힌 소량의 발언을 대상으로 초기 분류기를 훈련하여 기준 모델을 확립하는 것.
• 훈련된 분류기와 블랙리스트를 함께 적용하여 순위가 매겨진 서브레딧에서 더 큰, 더 대표적인 데이터셋을 점수 매기고 정제하는 것.
• 두 번째 단계에서 데이터 선택을 향상시키고 모델 일반화 능력을 강화하기 위해 Toxic Comment Challenge 데이터셋으로 훈련된 약한 지도 학습 모델을 사용하는 것.
• 부트스트랩된 데이터를 공개 데이터셋(Twitter, Toxic Wikipedia)과 결합하여 최종 모델을 미세 조정하고 평가하는 것.
• 대규모 대화 데이터를 활용하여 표준 필터가 놓치는 맥락적, 암시적, 문화적으로 뉘앙스가 있는 공격적 언어를 포착하는 것.

실험 결과

연구 질문

• RQ1 이단계적 준지도 학습 접근법이 개방형 대화에서 민감한 언어 탐지에 효과적으로 대규모, 다양한, 고품질의 데이터를 부트스트랩할 수 있는가?
• RQ2 부트스트랩된 데이터로 훈련된 모델의 성능은 공개된 수동 주석 처리 데이터셋으로 훈련된 모델과 비교해 외부 도메인 테스트 세트에서 어떻게 다른가?
• RQ3 특정 민감도 유형(예: 혐오 발언, 인종 차별, 성적 내용 등)에 대해 명시적 레이블이 없이 훈련된 모델이 다양한 유형의 공격적 언어에 얼마나 잘 일반화되는가?
• RQ4 블랙리스트와 약한 지도 학습 점수를 통합함으로써 암시적 또는 맥락 의존적 공격적 발언에 대한 데이터 선택과 모델 재현율이 향상되는가?
• RQ5 대규모 준지도 학습 데이터가 규칙 기반 시스템이 탐지하기 어려운, 섬세하고 명백하지 않은 공격적 내용(예: 풍자 또는 정치적으로 민감한 진술)을 포착할 수 있는가?

주요 결과

• 제안된 이단계적 준지도 학습 방법은 외부 도메인 테스트 세트에서 F1 스코어 95.5%를 달성하였으며, 공개 데이터셋으로 훈련된 기준 모델의 75% F1 스코어보다 뚜렷이 뛰어났다.
• 부트스트랩된 데이터로 훈련된 모델은 외부 도메인 테스트 세트에서 7개의 민감도 유형 평균 재현율 95.5%를 기록했으며, 공개 데이터셋으로 훈련된 모델의 경우 73.2%에 그쳤다.
• TS Bootstrap 모델은 챗봇 테스트 세트에서 민감도 유형의 재현율을 92.0%까지 끌어올려, 새로운 개방형 대화 데이터에 대한 강력한 일반화 능력을 보였다.
• 정성적 분석 결과, 모델은 'X는 역사상 가장 정교한 거짓말이에요' 또는 'Z는 악마예요'와 같은 암시적이고 맥락 의존적인 공격적 발언을 탐지할 수 있었으며, 이는 인간 주석자에게도 어려운 사례였다.
• 이 방법은 명시적 레이블 없이도 혐오 발언, 인종 차별, 성적 내용, 폭력 유형 등 다양한 민감도 유형에 잘 일반화되었으며, 이 카테고리에 대해 별도의 레이블링이 필요 없었다.
• 부트스트랩된 데이터를 공개 데이터셋(Twitter 및 Toxic)과 결합함으로써 F1 스코어가 95.6%까지 향상되어, 다양한 데이터 소스 간 상호 보완적 이점이 있음을 보여주었다.