[논문 리뷰] RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models

Samuel Gehman, Suchin Gururangan외 3명|arXiv (Cornell University)|2020. 09. 23.

Natural Language Processing Techniques인용 수 16

한 줄 요약

이 논문은 웹 텍스트에서 유래한 자연스러운 문장 수준의 프롬프트 10만 건으로 구성된 RealToxicityPrompts를 소개한다. 각 프롬프트는 PERSPECTIVE API를 통해 독성 점수와 함께 제공된다. 연구 결과, GPT-2와 같은 사전 훈련된 언어 모델에서 비독성으로 간주되는 프롬프트조차도 매우 독성이 강한 생성 결과를 유도할 수 있음을 보여주며, 이는 지속적인 '신경 독성 분해' 현상을 시사한다. 데이터 및 계산 자원을 다량으로 소비하는 방법(예: 비독성 데이터로의 피지테이닝)은 독성을 감소시키지만 완전히 제거하지는 못한다. 또한 OpenWebText와 OpenAI WebText와 같은 사전 훈련 코퍼스에 심각한 독성 콘텐츠가 존재함을 확인하였으며, 언어 모델 훈련 시 더 나은 데이터 정제가 필요하다는 점을 강조한다.

ABSTRACT

Pretrained neural language models (LMs) are prone to generating racist, sexist, or otherwise toxic language which hinders their safe deployment. We investigate the extent to which pretrained LMs can be prompted to generate toxic language, and the effectiveness of controllable text generation algorithms at preventing such toxic degeneration. We create and release RealToxicityPrompts, a dataset of 100K naturally occurring, sentence-level prompts derived from a large corpus of English web text, paired with toxicity scores from a widely-used toxicity classifier. Using RealToxicityPrompts, we find that pretrained LMs can degenerate into toxic text even from seemingly innocuous prompts. We empirically assess several controllable generation methods, and find that while data- or compute-intensive methods (e.g., adaptive pretraining on non-toxic data) are more effective at steering away from toxicity than simpler solutions (e.g., banning "bad" words), no current method is failsafe against neural toxic degeneration. To pinpoint the potential cause of such persistent toxic degeneration, we analyze two web text corpora used to pretrain several LMs (including GPT-2; Radford et. al, 2019), and find a significant amount of offensive, factually unreliable, and otherwise toxic content. Our work provides a test bed for evaluating toxic generations by LMs and stresses the need for better data selection processes for pretraining.

연구 동기 및 목표

• 사전 훈련된 언어 모델에서 독성 분해 위험을 체계적으로 평가하기 위해.
• 비록 비독성으로 보이는 프롬프트라도 매우 독성이 강한 생성 결과를 유도할 수 있는지 확인하기 위해.
• 독성 출력을 방지하는 데 효과적인 가소성 있는 생성 방법의 성능을 평가하기 위해.
• OpenWebText 및 OpenAI WebText와 같은 주요 사전 훈련 코퍼스 내 독성 수준을 분석하기 위해.
• 언어 모델 사전 훈련 시 더 나은 데이터 선택 및 정제의 긴급한 필요성을 부각하기 위해.

제안 방법

• 영문 웹 텍스트에서 유래한 10만 건의 문장 수준 프롬프트를 포함하는 RealToxicityPrompts를 구축하였으며, PERSPECTIVE API를 통해 비독성으로 수작업으로 선별하였다.
• PERSPECTIVE API를 사용해 각 프롬프트에 독성 점수를 할당하였으며, 0.5 이상인 경우 독성으로 레이블링하였다.
• 독성 제어 토큰, 서브웨이드 필터, 비독성 데이터로의 피지테이닝 등의 다양한 가소성 있는 생성 방법의 독성 생성 방지 능력을 평가하였다.
• PERSPECTIVE API를 사용해 OpenWebText 코퍼스(OWTC)와 OpenAI WebText(OPENAI-WT)에 대해 다중 독성 레이블을 기반으로 대규모 독성 분석을 수행하였다.
• OWTC와 OPENAI-WT 간의 중복도를 추정하기 위해 국소 민감성 해싱(LSH)과 자카르 거리(Jaccard distance)를 사용하였다.
• 공격적인 콘텐츠의 기원을 추적하기 위해 독성 문서와 관련된 서브레딧 및 도메인을 분석하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 비독성으로 간주되는 자연스러운 문장 수준의 프롬프트를 입력으로 받더라도, 여전히 매우 독성이 강한 텍스트를 생성할 수 있는가?
• RQ2 필터링, 피지테이닝 등의 다양한 가소성 있는 생성 기법이 독성 분해를 방지하는 데 얼마나 효과적인가?
• RQ3 OpenWebText 및 OpenAI WebText와 같은 널리 사용되는 사전 훈련 코퍼스에 얼마나 많은 독성 콘텐츠가 포함되어 있는가?
• RQ4 금지되거나 격리된 서브레딧이 언어 모델 사전 훈련에 사용되는 독성 웹 코퍼스에 비해 비율이 높은 편인가?
• RQ5 프롬프트에 신분 언급이나 욕설이 포함될 경우 언어 모델의 생성 결과에서 독성이 더 높아질 가능성이 증가하는가?

주요 결과

• PERSPECTIVE API에 의해 비독성으로 레이블링된 프롬프트(독성 점수 < 0.5)조차도 GPT-2 모델에서 매우 독성이 강한 생성 결과를 유도하였으며, 한 프롬프트에서 생성된 결과 중 46%가 독성으로 분류되었다.
• GPT-2 모델은 프롬프트의 독성과 생성 결과의 독성 간에 강한 상관관계를 보였다(r = 0.43, p < 0.001), 또한 프롬프트의 욕설과 생성 결과의 욕설 간에도 유의미한 상관관계가 있었다(r = 0.169, p < 0.001).
• 소수자 신분 언급은 다수자 신분 언급보다 생성 결과에 더 자주 반복되었으며(rmin. = 0.13 vs. rmaj. = 0.08, p < 0.001), 이는 편향의 확산을 시사한다.
• OpenWebText 코퍼스(OWTC)와 OpenAI WebText(OPENAI-WT)는 상당한 독성 콘텐츠를 포함하고 있었으며, OWTC에서 5.5%의 문서가 'IDENTITY ATTACK'로, 5.5%가 'THREAT'로 레이블링되었다.
• 금지되거나 격리된 서브레딧은 OWTC의 독성 서브셋에서 뚜렷하게 과대표되어 있었으며, 독성 문서의 10%가 이러한 커뮤니티에서 유래하였다.
• 고도로 발전된 완화 기법을 사용한 결과에도 불구하고 어떤 방법도 완전히 실패를 방지하지 못했다. 최고의 성능을 보인 방법(예: 비독성 데이터로의 피지테이닝) 역시 특정 프롬프트에서는 여전히 매우 독성이 강한 생성 결과를 생성하였다.