[논문 리뷰] Trawling for Trolling: A Dataset

Hitkul, Karmanya Aggarwal외 4명|arXiv (Cornell University)|2020. 08. 02.

Marine and fisheries research인용 수 4

한 줄 요약

이 논문은 정규, 저속어, 도발적 발언, 비하 발언, 혐오 발언의 다섯 가지 클래스로 레이블링된 12,490개의 소셜 미디어 샘플로 구성된 공개 가능하고 수동으로 코딩된 데이터셋을 소개한다. 기존 데이터셋을 명확한 정의로 재라벨링함으로써 저자들은 도발적 발언과 혐오 발언을 구분할 수 있는 자원을 만들었으며, 이는 모델이 통계적 오자보단 의미 있는 언어 패턴을 학습하도록 도와주며, 강력한 성능과 데이터 제거 테스트에 대한 민감도를 보여주었다.

ABSTRACT

The ability to accurately detect and filter offensive content automatically is important to ensure a rich and diverse digital discourse. Trolling is a type of hurtful or offensive content that is prevalent in social media, but is underrepresented in datasets for offensive content detection. In this work, we present a dataset that models trolling as a subcategory of offensive content. The dataset was created by collecting samples from well-known datasets and reannotating them along precise definitions of different categories of offensive content. The dataset has 12,490 samples, split across 5 classes; Normal, Profanity, Trolling, Derogatory and Hate Speech. It encompasses content from Twitter, Reddit and Wikipedia Talk Pages. Models trained on our dataset show appreciable performance without any significant hyperparameter tuning and can potentially learn meaningful linguistic information effectively. We find that these models are sensitive to data ablation which suggests that the dataset is largely devoid of spurious statistical artefacts that could otherwise distract and confuse classification models.

연구 동기 및 목표

• 도발적 발언과 다른 형태의 공격적 콘텐츠, 특히 혐오 발언을 명확히 구분할 수 있는 데이터셋의 부족을 해결하기 위해.
• 도발적 발언을 공격적 콘텐츠의 별개 카테고리로 간주하는 데 초점을 맞춘 공개 가능하고 수동으로 레이블링된 데이터셋을 만들기 위해.
• 엄격한 데이터 검증과 제거 테스트를 통해 공격적 콘텐츠 탐지 데이터셋 내의 유사한 통계적 오자들을 줄이기 위해.
• 모델이 경미한, 방해적인 도발적 발언과 심각한 혐오 발언을 구분할 수 있도록 함으로써 자동 콘텐츠 모니터링의 공정성과 정확도를 향상시키기 위해.

제안 방법

• 이 데이터셋은 이전에 공개된 공격적 콘텐츠 데이터셋의 샘플을 명확하고 경험적으로 기반한 카테고리로 재라벨링하여 구축되었다.
• 각 샘플은 정규, 저속어, 도발적 발언, 비하 발언, 혐오 발언의 다섯 가지 클래스에 대해 정의된 정확한 기준을 사용해 인간 레이블러가 레이블링했다.
• 데이터셋은 트위터, 레딧, 위키백과 대화 페이지의 세 플랫폼을 포함하여 다중 플랫폼 언어 다양성을 확보했다.
• 모델 평가에서는 하이퍼파라미터 조정 없이 전체 데이터셋으로 훈련된 BERT 기반 분류기를 사용하여 일반화 능력과 언어 학습 능력을 평가했다.
• 모델이 언어적 구조에 의존하는지 유사한 단서에 의존하는지 평가하기 위해 데이터 제거 테스트(레이블 랜덤화, 단어 순서 뒤섞기, 토큰 제거)를 적용했다.
• 각 클래스의 상위 n-gram 단서에 대한 통계 분석을 수행하여 강력한 유니그램 또는 짧은 시퀀스 편향이 존재하지 않아 모델을 오도할 수 없음을 확인했다.

실험 결과

연구 질문

• RQ1 명시적으로 도발적 발언과 혐오 발언을 구분하는 데이터셋이 공격적 콘텐츠 탐지 모델의 성능과 공정성 향상에 기여할 수 있는가?
• RQ2 최신 기술 모델들이 공격적 콘텐츠 탐지에서 표면적인 통계적 단서에 의존하기보다 의미 있는 언어 패턴을 학습하는가?
• RQ3 이 데이터셋에서 강력한 유니그램 또는 n-그램 단서가 없으면 모델이 유사한 통계적 오자에 의존하는 정도가 감소하는가?
• RQ4 이 데이터셋으로 훈련된 모델이 데이터 제거 테스트에 얼마나 민감한가? 이는 모델이 문맥적 및 순서적 정보에 얼마나 의존하는지를 보여준다.
• RQ5 이 데이터셋은 공격적 언어 탐지에서 NLP 모델의 강건성과 언어 일반화 능력을 평가하는 기준이 될 수 있는가?

주요 결과

• 제안된 데이터셋으로 훈련된 모델은 하이퍼파라미터 조정 없이도 75.3%의 정확도와 0.73의 가중 F1 스코어를 기록하여 강력한 기초 성능을 보였다.
• 레이블를 랜덤화했을 때 성능이 35.1%p 감소하여 모델이 단서를 정확한 레이블과 연관지워 학습했고, 데이터를 암기한 것이 아님을 확인했다.
• 단어 순서를 뒤섞었을 때 정확도가 62.4%로 떨어져 모델이 순서적 구조에 의존하고 있으며, 단어 봉투 표현 방식에 의존하지 않음을 보여주었다.
• 50%의 토큰을 제거했을 때 정확도가 60.8%로 떨어져 모델이 고립된 키워드가 아닌 전체 시퀀스의 정보를 사용하고 있음을 확인했다.
• 각 클래스의 상위 n-gram 단서에서 우세한 유니그램 패tern이 없었으며, 이는 데이터셋이 모델을 오도할 수 있는 강력한 통계적 편향을 피하고 있음을 시사한다.
• 데이터셋의 설계 및 검증 과정을 통해 모델은 문맥적 및 언어적 특징을 학습하게 되었으며, 이는 강력하고 공정하며 해석 가능한 공격적 콘텐츠 탐지 시스템을 훈련하는 데 적합하다.