[논문 리뷰] Ground-Truth, Whose Truth? -- Examining the Challenges with Annotating Toxic Text Datasets

Kofi Arhin, Ioana Baldini외 3명|arXiv (Cornell University)|2021. 12. 07.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 연구는 맥락에 따라 독성이 변화하는 특성과 평가자 간 오차를 줄이기 위해 다중 레이블 주석 방식을 제안한다. 세 개의 데이터셋을 재주석한 결과, 다중 레이블 라벨링은 외부 기계학습 모델과의 일치도를 높이고 평가자 내 일관성을 향상시켰지만, 전통적인 평가자 간 일치도 지표는 반드시 향상되지는 않았다.

ABSTRACT

The use of machine learning (ML)-based language models (LMs) to monitor content online is on the rise. For toxic text identification, task-specific fine-tuning of these models are performed using datasets labeled by annotators who provide ground-truth labels in an effort to distinguish between offensive and normal content. These projects have led to the development, improvement, and expansion of large datasets over time, and have contributed immensely to research on natural language. Despite the achievements, existing evidence suggests that ML models built on these datasets do not always result in desirable outcomes. Therefore, using a design science research (DSR) approach, this study examines selected toxic text datasets with the goal of shedding light on some of the inherent issues and contributing to discussions on navigating these challenges for existing and future projects. To achieve the goal of the study, we re-annotate samples from three toxic text datasets and find that a multi-label approach to annotating toxic text samples can help to improve dataset quality. While this approach may not improve the traditional metric of inter-annotator agreement, it may better capture dependence on context and diversity in annotators. We discuss the implications of these results for both theory and practice.

연구 동기 및 목표

• 독성 텍스트 데이터셋에서 단일 레이블 주석의 한계, 특히 맥락 의존성과 평가자 편향에 대해 조사한다.
• 다중 레이블 주석 프레임워크가 독성 텍스트 분류의 데이터 품질 향상과 노이즈 감소에 기여하는지 평가한다.
• 평가자 인구통계학적 특성, 맥락, 주관적 해석이 레이블 일관성과 신뢰도에 미치는 영향을 탐구한다.
• 향후 독성 텍스트 데이터셋 및 주석 프로토콜 설계를 위한 실질적인 권고안을 제공한다.
• 평가자 간 일치도를 유일한 데이터 품질 측정 기준으로 삼는 데 대한 과도한 의존을 도전하며, 맥락 인식 기반의 레이블링 접근법을 주장한다.

제안 방법

• 독성 텍스트 주석의 문제를 규명하고 해결책을 개발하기 위해 설계 과학 연구(DSR) 프레임워크를 적용한다.
• 주요 세 개의 독성 텍스트 데이터셋(SBIC, Jigsaw, ToxiGen)에서 각각 100개 샘플을 재주석하여 다중 레이블 주석 체계를 적용한다.
• 일반적인 텍스트 샘플에 대해 다수의 레이블(예: 모욕적, 풍자적, 편향성)을 부여할 수 있도록 구조화된 주석 가이드라인을 사용한다.
• 평가자 내 일관성 및 외부 기계학습 모델과의 일치도와 같은 지표를 사용해 다중 레이블 접근법과 전통적 단일 레이블 주석 방식을 비교한다.
• 다섯 명의 평가자를 대상으로 다중 레이블 프레임워크 하에서의 평가자 내 신뢰도를 평가하기 위한 예비 일관성 실험을 수행한다.
• 특히 암시적 또는 미묘한 독성에 대해 평가자 인구통계학적 특성과 맥락적 신호를 바탕으로 레이블 불일치를 분석한다.

실험 결과

연구 질문

• RQ1 맥락은 독성 텍스트 주석에 어떻게 영향을 미치며, 맥락의 모호성으로 인해 평가자 간 불일치가 얼마나 발생하는가?
• RQ2 다중 레이블 주석 프레임워크는 단일 레이블 주석 대비 데이터 품질 향상과 노이즈 감소에 기여하는가?
• RQ3 평가자 간 일치도가 낮더라도 다중 레이블 접근법은 평가자 내 일관성을 높이는가?
• RQ4 평가자 인구통계학적 특성과 문화적 배경은 모욕적 또는 암시적 독성 콘텐츠에 대한 주석 결정에 어떻게 영향을 미치는가?
• RQ5 기존 데이터셋이 맥락 부족과 단일 레이블 제약 조건으로 인해 주로 레이블링 편향을 반영하고 있는 정도는 어느 정도인가?

주요 결과

• 풍자나 비유와 같은 암시적 독성이 있는 텍스트 샘플은 원래 평가자가 모욕적이라고 판단한 경우조차도 단일 레이블 체계에서는 자주 잘못 분류되었다.
• 다중 레이블 접근법은 외부 기계학습 모델과의 일치도를 향상시켜, 복잡한 독성 차원을 더 잘 반영하는 것으로 나타났다.
• 평가자 내 일관성이 다중 레이블 프레임워크 하에서 향상되어, 개별 평가자가 다수의 레이블을 부여할 수 있게 되면서 더 신뢰할 수 있게 되었다.
• 평가자 간 일치도는 다중 레이블링으로 인해 유의미하게 향상되지 않아, 높은 일치도가 반드시 높은 품질을 의미한다는 가정을 도전할 수 있었다.
• 대표성이 부족한 그룹에 속한 평가자들은 최종 레이블을 기각할 가능성이 더 높았으며, 이는 문화적·언어적 배경이 독성 인식에 영향을 미친다는 점을 시사한다.
• 모욕적 콘텐츠의 상당수는 명시적인 독성 키워드를 포함하지 않으며, 톤, 암시 또는 맥락에 의존하기 때문에 키워드 기반 모델에서는 탐지가 어려웠다.