[論文レビュー] Characteristics of Harmful Text: Towards Rigorous Benchmarking of Language Models

Maribeth Rauh, John W. Mellor+10 more|arXiv (Cornell University)|Jun 16, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿は、言語モデル（LM）の有害性ベンチマークの厳密な設計を導くために、有害性の定義、表現的・割り当て的・能力的公平性、インスタンスおよび分布的有害性、文脈、有害性の受容者、影響を受ける人種的・文化的背景の6つのコアな特徴を提案する。Perspective API などの既存ベンチマークにこれらを適用することで、文脈や有害性の受容者への注意が不十分であるなど、現在の評価手法における深刻なギャップが明らかになり、LMの安全性評価における信頼性と公平性を高めるために、明確で意図的なベンチマーク設計の必要性が提唱される。

ABSTRACT

Large language models produce human-like text that drive a growing number of applications. However, recent literature and, increasingly, real world observations, have demonstrated that these models can generate language that is toxic, biased, untruthful or otherwise harmful. Though work to evaluate language model harms is under way, translating foresight about which harms may arise into rigorous benchmarks is not straightforward. To facilitate this translation, we outline six ways of characterizing harmful text which merit explicit consideration when designing new benchmarks. We then use these characteristics as a lens to identify trends and gaps in existing benchmarks. Finally, we apply them in a case study of the Perspective API, a toxicity classifier that is widely used in harm benchmarks. Our characteristics provide one piece of the bridge that translates between foresight and effective evaluation.

研究の動機と目的

• 大規模言語モデル（LM）が有毒、偏見的、または事実と異なる内容を生成するという、有害なテキスト生成の評価における増大する課題に対処すること。
• 強固で信頼性のあるLM有害性ベンチマークの設計に向けた、重要な特徴を特定・体系化すること。
• 文脈や有害性の受容者、人種的・文化的背景の代表性の欠如といった、既存ベンチマークにおける深刻なギャップを、体系的な分析を通じて明らかにすること。
• ベンチマーク設計意思決定を明確にする構造的フレームワークを提供し、評価における一般的な落とし穴を低減すること。
• 将来のベンチマーク開発を支援するため、潜在的な有害性の予測を、具体的で測定可能な評価基準に結びつけること。

提案手法

• 著者らは、有害なテキストの6つのコアな特徴（有害性の定義、表現的／割り当て的／能力的公平性、インスタンスおよび分布的有害性、文脈、有害性の受容者、影響を受ける人種的・文化的背景）を特定・精錬する。
• これらの特徴は、既存ベンチマークの分析、機械学習の公平性分野における先行研究、および特に Gopher モデルの実際の展開経験に基づいて導出される。
• 著者らは、広く使われている毒性分類ツールである Perspective API をフレームワークを用いて分析し、その設計と実際のベンチマーク用途との間の不一致を明らかにする。
• 各特徴は、ベンチマーク設計者が開発段階で明確で説得力のある選択を行うのを支援する、的を射た質問のセットとして具体化される。
• フレームワークは、既存ベンチマークを特徴に照らしてマッピングすることで検証され、長期間の文脈や有害性の受容者への注意が不十分であるなどの欠落が露呈される。
• 本アプローチは、何を測定しているか、なぜそのように測定するかを透明にすることで、曖昧性を低減し、ベンチマークの信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 有害なテキストを、より厳密で意図的な言語モデルベンチマークの設計を支援する形で体系的に特徴づけるには、どのようにすればよいか？
• RQ2 文脈、有害性の受容者、人種的・文化的背景の代表性の観点から、現在のLM有害性ベンチマークにどのような深刻なギャップが存在するか？
• RQ3 Perspective API のような広く使われているツールリングは、有害性評価の実際の目的とどの程度整合しているのか、そしてどこに不一致があるのか？
• RQ4 明白さ、深刻度、時間的要因といった特徴が、LM有害性ベンチマークの設計と有効性にどのように影響を与えるか？
• RQ5 明確なベンチマーク特徴を導入することで、一般的な設計上の落とし穴をどの程度低減でき、有害性評価の信頼性をどの程度向上できるか？

主な発見

• 分析により、有害な言語を長期間の文脈で評価するベンチマークが著しく不足していることが明らかになり、現在の評価手法における大きなギャップが示された。
• 広く使われているが、Perspective API は、設計上は毒性検出に焦点を当てているものの、LMが生成するテキストの評価への応用において、特に有害性の受容者に関する点で不一致が生じている。
• 多くの既存ベンチマークは、測定しようとしている有害性を明確に定義しておらず、評価の目的と実際の評価指標との間で不整合が生じる可能性がある。
• 明白さや時間的要因といった特徴は、有害性がどのように現れたり検出されたりするかに大きく影響するにもかかわらず、しばしば無視されている。
• フレームワークは、現在のベンチマークが代表的・割り当て的・能力的有害性を混同し、それらを区別していないため、評価が不完全であることが露呈されたことを示した。
• 6つの特徴を通じて重要な設計意思決定を明確にすることで、フレームワークはより透明性が高く、説得力があり、包括的なベンチマーク開発を可能にした。