[논문 리뷰] What's in the Box? A Preliminary Analysis of Undesirable Content in the Common Crawl Corpus

Alexandra Sasha Luccioni, Joseph D. Viviano|arXiv (Cornell University)|2021. 05. 06.

Hate Speech and Cyberbullying Detection참고 문헌 71인용 수 18

한 줄 요약

이 논문은 공통 크롤러 코퍼스에 대한 초보적 분석을 수행하여, 기존의 필터링에도 불구하고 심각한 혐오 발언과 성적 수위가 높은 콘텐츠가 다량 존재하는 것으로 드러냈다. 1% 샘플에 대해 확장성 있고 자동화된 탐지 모델을 적용한 결과, 바람직하지 않은 콘텐츠가 여전히 대규모로 존재함을 입증하였으며, 이는 자연어 처리(NLP) 커뮤니티가 더 안전하고 투명한 언어 모델을 만들기 위해 데이터 품질과 코퍼스 관리의 투명성을 우선시해야 한다는 것을 촉구한다.

ABSTRACT

Whereas much of the success of the current generation of neural language models has been driven by increasingly large training corpora, relatively little research has been dedicated to analyzing these massive sources of textual data. In this exploratory analysis, we delve deeper into the Common Crawl, a colossal web corpus that is extensively used for training language models. We find that it contains a significant amount of undesirable content, including hate speech and sexually explicit content, even after filtering procedures. We discuss the potential impacts of this content on language models and conclude with future research directions and a more mindful approach to corpus collection and analysis.

연구 동기 및 목표

• 대규모 언어 모델을 훈련시키는 데 기초 자료로 사용되는 공통 크롤러 코퍼스에 악성 콘텐츠—특히 혐오 발언과 성적 수위가 높은 자료—가 존재하는지 조사하기 위해.
• 대규모 웹 스크래핑 기반 코퍼스에서 이러한 콘텐츠를 제거하는 데 기존의 필터링 절차가 얼마나 효과적인지 평가하기 위해.
• 청소되지 않은 독성 웹 데이터를 기반으로 모델을 훈련시킬 경우 발생할 수 있는 후속 위험, 즉 사회적 편향과 해로운 출력을 증폭시키는 것을 강조하기 위해.
• 코퍼스 투명성, 품질 평가, 확장 가능한 필터링 파이프라인을 중심으로 NLP 연구의 우선순위를 전환할 것을 주장하기 위해.
• 비교적 장기적인 영향을 고려할 때, 필터링되지 않은 인터넷 텍스트 기반으로 모델을 훈련시키는 데 있어 윤리적 데이터 수집과 그 결과에 대한 공동체 논의를 촉진하기 위해.

제안 방법

• 저자들은 분석의 가능성을 확보하기 위해 2020년 11월/12월 버전의 공통 크롤러 코퍼스에서 1% 샘플(115GB, 약 580만 페이지)을 추출하였다.
• 텍스트 조각에 대해 이진 분류를 사용하여 사전 훈련 및 미세조정된 언어 모델을 적용해 혐오 발언과 성적으로 노골적인 콘텐츠를 탐지하였다.
• 샘플 데이터에서 탐지 모델의 성능을 평가하였으며, 결과는 유병률과 신뢰도 점수로 보고되었다.
• 저질 또는 잠재적으로 해로운 콘텐츠를 식별하는 데 가능성이 있는 퍼플렉서티 기반 필터링을 평가하였다.
• 모든 코드와 분석 파이프라인은 재현 가능성과 공동체 참여를 보장하기 위해 공개되었다.
• 계산 자원의 제약으로 전체 코퍼스 분석을 수행하는 대신, 내용 분포를 기술적으로 특성화하는 데 초점을 맞춘 기술적 탐색적 접근을 채택하였다.

실험 결과

연구 질문

• RQ1 표준 필터링 이후 공통 크롤러 코퍼스의 어느 정도 비율이 탐지 가능한 혐오 발언이나 성적으로 노골적인 콘텐츠를 포함하고 있는가?
• RQ2 기존의 필터링 기법은 대규모 비청소 웹 코퍼스에서 바람직하지 않은 콘텐츠를 얼마나 효과적으로 제거하는가?
• RQ3 훈련 데이터에 독성 콘텐츠가 존재할 경우, 이는 후속 언어 모델의 행동에 어느 정도의 영향을 미치는가?
• RQ4 독성이 높고 匿명성이 높은 온라인 커뮤니티가 과도하게 포함된 코퍼스를 기반으로 모델을 훈련시킬 경우 어떤 함의가 있는가?
• RQ5 NLP 커뮤니티는 어떻게 대규모 웹 코퍼스를 필터링하고 감사하기 위한 확장성 있고 투명하며 신뢰할 수 있는 방법을 개발할 수 있는가?

주요 결과

• 분석 결과, 샘플된 공통 크롤러 데이터의 약 0.5%가 탐지 가능한 혐오 발언을 포함하고 있었으며, 특정 서브도메인과 포럼에서 높은 농도를 보였다.
• 샘플 데이터의 약 1.2%가 성적으로 노골적인 콘텐츠를 포함하고 있었으며, 이는 필터링 이후에도 성인 콘텐츠가 상당히 존재하고 있음을 시사한다.
• 퍼플렉서티 기반 필터링은 바람직하지 않은 콘텐츠를 식별하는 데 한계가 있었으며, 이는 품질 제어를 위한 단독 방법으로 신뢰할 수 없다는 것을 시사한다.
• 연구에서는 독성 콘텐츠가 균일하게 분포되어 있지 않으며, 일반적으로 익명성과 탈억제 효과와 연결된 특정 웹 커뮤니티 및 토론 포럼에 집중되어 있음을 발견하였다.
• 기존의 필터링 메커니즘을 사용함에도 불구하고 코퍼스는 여전히 상당량의 해로운 콘텐츠를 포함하고 있어 현재의 데이터 코딩 관행에 뚜렷한 격차가 있음을 시사한다.
• 이러한 발견들은 언어 모델이 이러한 데이터를 기반으로 훈련될 경우 편향이나 해로운 출력을 반복하거나 증폭시킬 수 있는 위험성을 강조하며, 더 신중한 데이터 확보 및 감사가 필요함을 시사한다.