[논문 리뷰] A Holistic Approach to Undesired Content Detection in the Real World

Todor Markov, Chong Zhang외 6명|arXiv (Cornell University)|2022. 08. 05.

Hate Speech and Cyberbullying Detection인용 수 16

한 줄 요약

이 논문은 실제 언어 모델 출력에서 혐오 발언, 자해, 괴롭힘과 같은 다양한 형태의 부적절한 콘텐츠를 탐지하기 위한 통합적이고 생산 환경에 적합한 프레임워크를 제시한다. 활성 학습, 철저한 데이터 품질 제어, 합성 데이터 증강, 강력한 모델 훈련을 조합함으로써 희귀 카테고리에서 특히 뛰어난 성능 향상을 달성하였으며, 오프 더 셰프 모델을 능가하고 분포 이탈 문제를 효과적으로 해결한다.

ABSTRACT

We present a holistic approach to building a robust and useful natural language classification system for real-world content moderation. The success of such a system relies on a chain of carefully designed and executed steps, including the design of content taxonomies and labeling instructions, data quality control, an active learning pipeline to capture rare events, and a variety of methods to make the model robust and to avoid overfitting. Our moderation system is trained to detect a broad set of categories of undesired content, including sexual content, hateful content, violence, self-harm, and harassment. This approach generalizes to a wide range of different content taxonomies and can be used to create high-quality content classifiers that outperform off-the-shelf models.

연구 동기 및 목표

• 다양한 실생활 사용 사례에 일반화되는 확장성 있고 생산 수준의 콘텐츠 모니터링 시스템을 개발하는 것.
• 높은 평가자 간 이질성(inter-rater variability)을 보이는 희귀하고 주관적인 부적절한 콘텐츠 카테고리에 도전하는 것.
• 공개 데이터셋에 의존하는 대신 실제 운영 트래픽에서의 활성 학습을 활용하여 데이터 분포 이탈을 줄이는 것.
• 합성 데이터와 레드팀 훈련을 통해 일반적인 어휘나 템플릿에 대한 과적합을 방지하여 모델의 강건성을 높이는 것.
• 정신 건강 지원과 라벨러의 철회 권리 등을 포함한 윤리적인 데이터 라벨링 관행을 확보하는 것.

제안 방법

• 라벨링의 주관성을 최소화하기 위해 명확한 지침을 포함한 세부적이고 문화적으로 민감한 콘텐츠 분류 체계를 설계하는 것.
• 정기적인 校정과 정밀도 중심의 라벨링 지침을 포함한 철저한 품질 제어를 수행하는 다단계 데이터 파이프라인을 구현하는 것.
• 실제 운영 트래픽에서 직접 희귀한 부적절한 콘텐츠를 샘플링하기 위해 활성 학습을 적용하여 희귀 클래스 데이터를 최대 22배 증가시키는 것.
• 일반적인 어휘나 템플릿에 대한 모델 과적합을 수정하기 위해 합성 데이터 생성과 인간이 수작업으로 선별한 예제를 활용하는 것.
• 일반화 능력 향상과 모호한 케이스 처리를 위해 준지도 학습과 불확실성 추정을 활용하는 것.
• 데이터 泄露를 방지하고 동의 기반의 데이터 사용을 보장하기 위해 보안 및 프라이버시 제어를 통합하는 것.

실험 결과

연구 질문

• RQ1 콘텐츠 모니터링 시스템은 다양하고 희귀하며 주관적인 부적절한 콘텐츠 카테고리에서 어떻게 높은 성능을 유지할 수 있는가?
• RQ2 공개 데이터셋 대비 실제 운영 데이터에서의 활성 학습이 희귀 콘텐츠 탐지에 얼마나 효과적인가?
• RQ3 주관적이고 민감한 콘텐츠를 다룰 때 데이터 품질과 라벨 일관성을 어떻게 유지할 수 있는가?
• RQ4 합성 데이터와 모델 레드팀 훈련이 일반적인 어휘 패턴에 대한 과적합을 줄이는 데 어떤 영향을 미치는가?
• RQ5 콘텐츠 모니터링 파이프라인에서 대규모로 윤리적이고 안전한 데이터 라벨링 관행을 어떻게 구현할 수 있는가?

주요 결과

• 실제 운영 트래픽에서의 활성 학습으로 희귀 클래스 샘플 수집량이 최대 22배 증가하였으며, 이로 인해 자원이 부족한 카테고리의 성능 향상이 최대 10배까지 이루어졌다.
• 공개 데이터셋은 初기 콜드 스타트에 유용하지만, 충분한 고품질 라벨 데이터가 확보된 후에는 모델 성능을 떨어뜨릴 수 있다.
• 'X는 혐오스럽다'와 같은 일반적인 어휘 패턴에 대한 모델 과적합 문제는 합성 데이터와 레드팀 훈련을 통해 완화되어 강건성이 향상되었다.
• 집계된 라벨로 훈련된 모델들과 비교해 성능이 유사하거나 뛰어나며, 인간 라벨러 간 이견과 일치하는 불확실성 추정을 유지하였다.
• 정신 건강 지원과 철회 권리 등을 포함한 윤리적 라벨링 관행은 데이터 품질에 영향을 주지 않으면서도 성공적으로 파이프라인에 통합되었다.
• 이 프레임워크는 다양한 콘텐츠 분류 체계에서 강력한 일반화 능력을 보였으며, 실생활 배포 환경에서 오프 더 셰프 모델을 능가하는 성능을 보였다.