[논문 리뷰] Characteristics of Harmful Text: Towards Rigorous Benchmarking of Language Models

Maribeth Rauh, John W. Mellor외 10명|arXiv (Cornell University)|2022. 06. 16.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 언어 모델(LM)의 해로움 평가 벤치마크를 철저하게 설계하는 데 안내할 여섯 핵심 특성—해로움 정의, 표현적/할당적/능력 기반 공정성, 개별 및 분포적 해로움, 맥락, 피해자, 영향을 받는 인구 통계학적 요소—을 제안한다. 기존의 벤치마크인 Perspective API에 이를 적용함으로써 현재 평가 관행에서 맥락과 피해자에 대한 충분한 고려가 부족하다는 핵심적 격차를 드러내며, LM 안전성 평가의 신뢰성과 공정성을 향상시키기 위해 명시적이고 의도적인 벤치마크 설계를 주장한다.

ABSTRACT

Large language models produce human-like text that drive a growing number of applications. However, recent literature and, increasingly, real world observations, have demonstrated that these models can generate language that is toxic, biased, untruthful or otherwise harmful. Though work to evaluate language model harms is under way, translating foresight about which harms may arise into rigorous benchmarks is not straightforward. To facilitate this translation, we outline six ways of characterizing harmful text which merit explicit consideration when designing new benchmarks. We then use these characteristics as a lens to identify trends and gaps in existing benchmarks. Finally, we apply them in a case study of the Perspective API, a toxicity classifier that is widely used in harm benchmarks. Our characteristics provide one piece of the bridge that translates between foresight and effective evaluation.

연구 동기 및 목표

• 대규모 언어 모델(LMs)에서의 해로운 텍스트 생성 평가라는 증가하는 과제를 해결하기 위해, 이는 유해한, 편향된, 또는 사실과 어긋난 내용을 생성할 수 있다.
• 강력하고 신뢰할 수 있는 LM 해로움 벤치마크 설계에 영향을 주어야 할 핵심 특성을 식별하고 체계화하기 위해.
• 기존의 벤치마크에서 드러나는 핵심적 격차를 체계적인 분석을 통해 폭 드러내기 위해, 특히 맥락 인식 부족과 피해자와의 불일치 문제를 중심으로.
• 벤치마크 설계 결정을 명확히 하는 체계적인 프레임워크를 제공하여 평가 과정에서 흔히 발생하는 오류를 줄이기 위해.
• 미래의 벤치마크 개발을 이끌기 위해 잠재적 해로움에 대한 예측적 고려를 구체적이고 측정 가능한 평가 기준과 연결하기 위해.

제안 방법

• 저자들은 해로운 텍스트의 여섯 핵심 특성—해로움 정의, 표현적/할당적/능력 기반 공정성, 개별 및 분포적 해로움, 맥락, 피해자, 영향을 받는 인구 통계학적 요소—을 식별하고 정련한다.
• 이 특성들은 기존의 벤치마크, 기계 학습 공정성 분야의 이전 연구, 특히 Gopher 모델의 실제 구현 경험을 바탕으로 한 비판적 분석에서 유래된다.
• 저자들은 프레임워크를 적용하여 널리 사용되는 독성 분류기인 Perspective API를 분석함으로써, 그 디자인과 실제 벤치마크 사용 간의 불일치를 드러낸다.
• 각 특성은 벤치마크 설계자가 개발 과정에서 명확하고 정당화 가능한 선택을 할 수 있도록 타깃화된 질문 세트로 구체화된다.
• 기존의 벤치마크들을 특성에 매핑하여 프레임워크를 검증함으로써, 장기적 맥락이나 피해자에 대한 고려 부족과 같은 누락 사항을暴露한다.
• 측정 대상과 그 이유를 투명하게 정의하는 데 초점을 맞추어 모호성을 줄이고 벤치마크의 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 체계적으로 해로운 텍스트를 특성화할 수 있을까? 이는 더 철저하고 의도적인 언어 모델 벤치마크 설계를 지원할 수 있다.
• RQ2 현재의 LM 해로움 평가 벤치마크에는 어떤 핵심적 격차가 존재하는가? 특히 맥락, 피해자, 인구 통계학적 표현 측면에서.
• RQ3 Perspective API와 같은 널리 사용되는 도구가 실제로 해로움 평가의 목표와 얼마나 일치하는가? 그리고 어디서 불일치가 발생하는가?
• RQ4 은폐성, 심각도, 시간성과 같은 특성들이 LM 해로움 벤치마크의 설계와 유효성에 어떻게 영향을 미치는가?
• RQ5 명시적인 벤치마크 특성은 어떤 방식으로 일반적인 설계 오류를 줄이고 해로움 평가의 신뢰성을 향상시킬 수 있는가?

주요 결과

• 분석 결과, 장기적인 텍스트 맥락에서 해로운 언어를 고려하는 벤치마크가 현저히 부족함을 드러내며, 현재 평가 관행에 중대한 격차가 있음을 시사한다.
• 광범위하게 사용되는 Perspective API는 디자인이 독성 탐지에 집중되어 있음에도 불구하고, LM이 생성한 텍스트 평가에 응용할 때 피해자 측면에서 디자인과의 불일치를 보이며 문제를 드러낸다.
• 많은 기존의 벤치마크가 측정하고자 하는 해로움을 명시적으로 정의하지 않아 모호성이 발생하고, 의도한 목표와 실제 평가 지표 사이의 불일치가 발생할 수 있다.
• 은폐성과 시간성과 같은 특성은 여전히 자주 간과되지만, 언어에서 해로움이 어떻게 나타나고 감지되는지에 중대한 영향을 미친다.
• 프레임워크는 현재의 벤치마크가 표현적, 할당적, 능력 기반 해로움을 혼동하고 구분하지 못함으로써 평가가 불완전해지는 경향이 있음을 폭 드러내며, 이는 완전하지 못한 평가로 이어진다.
• 여섯 가지 특성을 통해 핵심 설계 결정을 명확히 하여, 더 투명하고 정당화 가능하며 종합적인 벤치마크 개발이 가능해진다.