[논문 리뷰] Perplexed by Quality: A Perplexity-based Method for Adult and Harmful Content Detection in Multilingual Heterogeneous Web Data

Tim Jansen, Yangling Tong외 2명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 OSCAR와 같은 대규모 노이즈가 많은 다국어 웹 데이터 코퍼스에서 성인 및 유해 콘텐츠를 탐지하기 위해 어휘 어순 기반 방법을 제안한다. 이는 오직 유해 텍스트 데이터만으로 언어 모델을 훈련시켜 높은 어휘 어순을 보이는 문서를 비유해로 간주하는 방식이다. 기존 분류기 대비 더 높은 정밀도와 더 현실적인 레이블 분포를 달성하며, 특히 OSCAR와 같은 대규모 노이즈가 많은 다국어 코퍼스에서 유의미한 성능을 보인다.

ABSTRACT

As demand for large corpora increases with the size of current state-of-the-art language models, using web data as the main part of the pre-training corpus for these models has become a ubiquitous practice. This, in turn, has introduced an important challenge for NLP practitioners, as they are now confronted with the task of developing highly optimized models and pipelines for pre-processing large quantities of textual data, which implies, effectively classifying and filtering multilingual, heterogeneous and noisy data, at web scale. One of the main components of this pre-processing step for the pre-training corpora of large language models, is the removal of adult and harmful content. In this paper we explore different methods for detecting adult and harmful of content in multilingual heterogeneous web data. We first show how traditional methods in harmful content detection, that seemingly perform quite well in small and specialized datasets quickly break down when confronted with heterogeneous noisy web data. We then resort to using a perplexity based approach but with a twist: Instead of using a so-called "clean" corpus to train a small language model and then use perplexity so select the documents with low perplexity, i.e., the documents that resemble this so-called "clean" corpus the most. We train solely with adult and harmful textual data, and then select the documents having a perplexity value above a given threshold. This approach will virtually cluster our documents into two distinct groups, which will greatly facilitate the choice of the threshold for the perplexity and will also allow us to obtain higher precision than with the traditional classification methods for detecting adult and harmful content.

연구 동기 및 목표

• OSCAR와 같은 대규모 다국어 노이즈가 많은 웹 코퍼스에서 성인 및 유해 콘텐츠를 걸러내는 과제를 해결하기 위해.
• 이질적이고 노이즈가 많은 웹 데이터에서 일반화에 실패하는 기존 분류 모델의 한계를 극복하기 위해.
• 높은 정밀도와 현실적인 예측 분포를 유지하면서도 확장성과 효율성을 갖춘 유해 콘텐츠 식별 방법을 개발하기 위해.
• 다국어 데이터에서 어휘 어순을 제로샷, 자기지도 학습 방식으로 콘텐츠 품질의 대체 지표로 사용할 수 있는지 탐색하기 위해.
• 경량 언어 모델과 빠른 추론을 활용해 웹 규모의 유해 콘텐츠 탐지 기술을 실용적으로 구현하기 위해.

제안 방법

• OSCAR 코퍼스의 성인 및 유해 콘텐츠만으로 경량 언어 모델(KenLM)을 훈련시어 이러한 텍스트의 언어 패턴을 학습한다.
• 훈련된 모델을 사용해 테스트 세트의 각 문서에 대해 어휘 어순 점수를 계산하고, 높은 어휘 어순을 비유해 콘텐츠의 지표로 간주한다.
• 임계값 기반 선택 적용: 어휘 어순 점수가 임계값을 초과하는 문서는 비유해로 분류하고, 그 이하인 경우 잠재적인 유해 콘텐츠로 경고한다.
• 어휘 어순 점수가 두 개의 명확한 군집(유해 대비 비유해)으로 자연스럽게 분리되는 특성을 활용해 임계값 설정을 단순화하고 정밀도를 향상시킨다.
• 첫 번째 및 두 번째 접근에서 기준 비교를 위해 FastText를 사용하며, 대규모 데이터에서의 속도와 성능에 중점을 둔다.
• 소형이고 효율적인 언어 모델을 사용해 추론 속도를 최적화하여 대규모 다국어 코퍼스(예: 보편적인 하드웨어에서 상위 5개 언어에 대해 약 84시간 소요) 처리가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 오직 유해 데이터만으로 훈련된 어휘 어순 기반 방법이 노이즈가 많고 다국어 웹 데이터에서 기존 분류 모델보다 성인 및 유해 콘텐츠 탐지 성능을 뛰어나게 할 수 있는가?
• RQ2 대규모 코퍼스에서 기존 분류기와 어휘 어순 기반 접근 간 예측된 유해 레이블의 분포는 어떻게 비교되는가?
• RQ3 대표적인 유해 데이터 서브셋으로 훈련된 언어 모델이 전체 OSCAR 코퍼스 전반에 걸쳐 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 큰 수의 수동 레이블링 데이터가 필요 없이도 어휘 어순 기반 방법이 높은 정밀도와 현실적인 레이블 분포를 달성할 수 있는가?
• RQ5 어휘 어순 기반 방법은 대규모 다국어 웹 데이터 처리에 있어 얼마나 확장 가능하고 효율적인가?

주요 결과

• 어휘 어순 기반 방법은 노이즈가 많고 이질적인 데이터에서 높은 정밀도를 달성했으며, 기존 분류 모델은 종종 비현실적인 레이블 분포를 보였다.
• 이 방법은 어휘 어순 점수 기반으로 문서를 두 개의 명확한 군집(유해 및 비유해)으로 자연스럽게 분류해 더 신뢰할 수 있고 직관적인 임계값 설정이 가능했다.
• 유해 콘텐츠 데이터만으로 훈련시킨 언어 모델은 제한된 데이터 조건에서도 이러한 텍스트의 언어 패턴을 효과적으로 학습했다.
• 이 방법은 높은 확장성을 보였으며, 보편적인 하드웨어에서 OSCAR의 상위 5개 언어에 대해 약 84시간의 추정 처리 시간을 기록했다.
• 이 방법은 이전에 레이블이 지정되지 않은 새로운 유해 텍스트를 실질적인 수준으로 탐지했으며, 이는 이전 연구들(Kreutzer et al., 2022)의 결과와 일치했다.
• 한계로는 훈련 데이터에 포함되지 않은 OSCAR 코퍼스 일부 영역에서의 유해 콘텐츠 탐지 실패가 있었는데, 이는 순차적 데이터 구성 방식과 파일 간 언어 다양성 때문일 가능성이 높았다.