[論文レビュー] Challenges in Measuring Bias via Open-Ended Language Generation

Afra Feyza Akyürek, Muhammed Yusuf Kocyigit+2 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、オープンエンドド言語生成におけるバイアス測定に顕著な影響を与える実験的設計の選択—例えばプロンプトセット、デコードハイパーパramータ、メトリクス、自動ツール—を調査する。同じモデルであっても、異なる設定下では一貫性のないバイアススコアが得られることを示しており、誤った結論やバイアス評価における技術的設計バイアスを防ぐために、標準化され包括的な報告フレームワークの導入が強く要請されている。

ABSTRACT

Researchers have devised numerous ways to quantify social biases vested in pretrained language models. As some language models are capable of generating coherent completions given a set of textual prompts, several prompting datasets have been proposed to measure biases between social groups -- posing language generation as a way of identifying biases. In this opinion paper, we analyze how specific choices of prompt sets, metrics, automatic tools and sampling strategies affect bias results. We find out that the practice of measuring biases through text completion is prone to yielding contradicting results under different experiment settings. We additionally provide recommendations for reporting biases in open-ended language generation for a more complete outlook of biases exhibited by a given language model. Code to reproduce the results is released under https://github.com/feyzaakyurek/bias-textgen.

研究の動機と目的

• 実験的設計の変化がオープンエンドド言語生成におけるバイアス測定に与える影響を調査すること。
• プロンプトセット、デコード設定、メトリクス、自動ツールといった要因が、一貫性のないバイアス結果をもたらす理由を同定すること。
• 技術的設計バイアスが言語モデルのバイアス評価を歪めるリスクを強調すること。
• 再現可能性と信頼性を向上させるために、包括的で多次元的な報告スキームをバイアス評価に提案すること。
• 人間の判断と多様なメトリクスツールを統合することで、透明性と体系的な評価を促進すること。

提案手法

• 著者らは、性別、人種、宗教を標的とする複数のプロンプトセットを用いて、GPT-3の出力を用いてバイアスを評価した。
• デコードハイパーパramータ（温度、top-p）を変化させ、複数の自動メトリクス（例：BOLD、毒性、センチメント）を適用してバイアスを評価した。
• バイアスは、性的なグループ（例：男性対女性のプロンプト）間でのモデル出力の比率比較によって測定された。
• 異なる自動ツール（例：BOLD、Perspective API）の間でバイアススコアのばらつきを評価するために、それらを比較した。
• プロンプトセット、メトリクス、ツール、デコード設定のあらゆる側面を体系的に比較できるよう、二元的報告フレームワークを提唱した。
• 自動ツールの補完として、人間による評価を推奨し、モデル出力が人間の判断と一致するかを検証することを提案した。

実験結果

リサーチクエスチョン

• RQ1 異なるプロンプトセットは、オープンエンドド言語生成における測定バイアスにどのように影響するか？
• RQ2 デコードハイパーパramータ（例：温度、top-p）は、バイアス測定の結果にどの程度影響を及えるか？
• RQ3 異なる自動メトリクスおよびツール（例：BOLD、Perspective API）は、同じモデルとプロンプトセットに対して、なぜ異なるバイアススコアを生じるのか？
• RQ4 実験的設計の変化は、モデルのバイアスに関する一貫性のないまたは矛盾する結論を生じる原因となるのか？
• RQ5 より信頼性が高く透明性があり再現可能な言語生成におけるバイアス評価を保証する報告フレームワークは何か？

主な発見

• 同じモデルに適用しても、異なるプロンプトセットでは顕著に異なるバイアススコアが得られ、プロンプト選択が結果に強く影響することが示された。
• 温度やtop-pといったデコードハイパーパramータはバイアス測定に影響を与え、特に温度が高いとばらつきが増加し、バイアスが拡大する可能性がある。
• 同じモデル出力に対し、BOLD や Perspective API といった自動ツールは異なるバイアススコアを出力するため、ツール依存のバイアス推定が顕著に現れた。
• 同じモデルは、プロンプトセット、メトリクス、ツールの組み合わせによって、極めてバイアスが強いと評価される場合も、ほとんどバイアスがないと評価される場合もある。
• 本研究は、しばしば付随的な要因と見なされる実験的設計の選択が、技術的バイアスを引き起こす可能性があり、バイアス評価の妥当性を損なうことを示した。
• 著者らは、標準化され多次元的な報告スキームが、誤った解釈を防ぎ、バイアス評価における透明性を保証するために不可欠であることを示した。