[논문 리뷰] Mitigating harm in language models with conditional-likelihood filtration

Helen Ngo, Cooper Raterink외 5명|arXiv (Cornell University)|2021. 08. 04.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 조건부 우도 필터링을 제안하며, 연구자가 작성한 트리거 문구를 문서 요약에 이어붙인 후 언어 모델이 계산하는 로그우도를 측정하여 웹 규모의 데이터셋에서 유해한 텍스트를 탐지하고 필터링하는 방법이다. 필터링된 데이터로 미세조정된 모델들은 표준 언어 모델링 성능에 거의 영향을 주지 않으면서도 독성이著著 감소함을 보였다.

ABSTRACT

Language models trained on large-scale unfiltered datasets curated from the open web acquire systemic biases, prejudices, and harmful views from their training data. We present a methodology for programmatically identifying and removing harmful text from web-scale datasets. A pretrained language model is used to calculate the log-likelihood of researcher-written trigger phrases conditioned on a specific document, which is used to identify and filter documents from the dataset. We demonstrate that models trained on this filtered dataset exhibit lower propensity to generate harmful text, with a marginal decrease in performance on standard language modeling benchmarks compared to unfiltered baselines. We provide a partial explanation for this performance gap by surfacing examples of hate speech and other undesirable content from standard language modeling benchmarks. Finally, we discuss the generalization of this method and how trigger phrases which reflect specific values can be used by researchers to build language models which are more closely aligned with their values.

연구 동기 및 목표

• 대규모이고 필터링되지 않은 웹 코퍼스에서 유해 콘텐츠를 식별하고 제거하는 확장성 있고 프로그래밍 가능한 방법을 개발하기 위해.
• 모델 훈련 이전에 바람직하지 않은 훈련 데이터를 필터링하여 언어 모델이 독성 또는 편향된 텍스트를 생성할 가능성을 줄이기 위해.
• 가치 기반 트리거 문구의 조건부 로그우도를 기반으로 한 필터링이 안전한 모델을 만들어내며, 성능 손실를 최소화함을 입증하기 위해.
• lm1b와 같은 널리 사용되는 언어 모델링 벤치마크에 포함된 유해 콘텐츠의 존재를 드러내어, 독성 생성을 부추길 수 있음을 보여주기 위해.
• 연구자가 데이터셋 정제를 위해 맞춤형 트리거 문구를 정의할 수 있도록 하여 특정 윤리적 가치와 일치하는 언어 모델 훈련을 가능하게 하기 위해.

제안 방법

• 사전 훈련된 언어 모델이 웹 규모 코퍼스의 각 문서 요약에 이어진 인간이 작성한 트리거 문구(예: '사회 정의 전사자들은 백인 인종을 미워한다.')의 조건부 로그우도를 계산한다.
• 문서에 대해 트리거 문구의 조건부 로그우도가 높은 경우, 즉 유해한 논의와 일치하는 경우 문서를 필터링한다.
• 15억 파라미터를 가진 디코더 전용 트랜스포머 아키텍처를 사용하며, C4와 기업 내 웹 크롤링 데이터에서 유도된 필터링된 데이터셋으로 미세조정한다.
• 백인 우월주의나 기형주의와 같은 특정 형태의 유해한 논의를 대표하는 트리거 문구를 수작업으로 작성하여, 가치 기반에 어긋나는 콘텐츠를 타겟으로 한다.
• 이 방법은 일반화 가능하며, 새로운 트리거 문구를 반복적으로 적용하여 변화하는 형태의 독성을 탐지할 수 있다.
• 이 방법은 좁은 블랙리스트와 조합하여, 해설적 또는 반대 발언의 맥락을 유지하면서도 유해 콘텐츠만 제거할 수 있다.

실험 결과

연구 질문

• RQ1 연구자가 작성한 트리거 문구의 조건부 로그우도가 웹 규모 코퍼스에서 유해한 문서를 효과적으로 식별할 수 있는가?
• RQ2 이 방법으로 데이터셋을 필터링하면 추론 도중에 더 적은 독성을 생성하는 언어 모델이 만들어지는가?
• RQ3 필터링 후 표준 언어 모델링 벤치마크에서 독성 감소와 성능 손실 간의 트레이드오프는 어떠한가?
• RQ4 lm1b와 같은 기존 언어 모델링 벤치마크에 모델 행동을 편향시킬 수 있는 유해 콘텐츠가 얼마나 포함되어 있는가?
• RQ5 다양한 윤리적 가치와 일치시키기 위해 다른 트리거 문구를 사용함으로써 이 방법이 일반화될 수 있는가?

주요 결과

• 필터링된 데이터셋으로 훈련된 모델들은 Perspective API 기준 최대 독성 수준이著著 감소함을 확인하여, 이 방법이 독성 생성을 줄이는 데 효과적임을 입증했다.
• 표준 언어 모델링 벤치마크에서의 성능 저하가 미미하여, 독성 감소가 주요 생성 능력 손실을 동반하지 않음을 시사한다.
• 인간 평가자에 의한 평가 결과, 이 방법이 데이터셋 내에서 가치 기반에 어긋나는, 독성 또는 해로운 콘텐츠를 일관되게 식별함을 확인했다.
• 이 연구는 lm1b와 같은 표준 벤치마크에 혐오 발언 및 독성 언어의 예시가 포함되어 있음을 드러내어, 이는 모델 행동을 편향시킬 수 있음을 시사한다.
• 이 방법은 연구자가 맞춤형 트리거 문구를 정의하고 적용할 수 있도록 하여, 특정 윤리적 또는 사회적 원칙에 기반한 가치 기반 모델 훈련을 가능하게 한다.
• 일반화된 유니버설 적대적 공격 방법을 통해 생성된 적대적 트리거 문구는 유해 콘텐츠를 드러내지 못했으며, 이러한 방법을 사용해 트리거 문구를 생성하는 데에는 한계가 있음을 시사한다.