[論文レビュー] Quantifying Social Biases Using Templates is Unreliable

Preethi Seshadri, Pouya Pezeshkpour+1 more|arXiv (Cornell University)|Oct 9, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文は、大規模言語モデルにおけるバイアス測定が、テンプレートベースの評価手法を用いる場合、非常に不安定で信頼性が低いことを示している。微細な意味を保つテンプレートの変更ですら、バイアススコアに最大162%の変動を引き起こすことがある。研究では、テンプレートの選定が公平性に関する結論に大きく影響することを明らかにし、研究者が単純な任意のテンプレートに依存するのではなく、より包括的かつ人間の知見を反映したベンチマーク手法を採用するよう強く要請している。

ABSTRACT

Recently, there has been an increase in efforts to understand how large language models (LLMs) propagate and amplify social biases. Several works have utilized templates for fairness evaluation, which allow researchers to quantify social biases in the absence of test sets with protected attribute labels. While template evaluation can be a convenient and helpful diagnostic tool to understand model deficiencies, it often uses a simplistic and limited set of templates. In this paper, we study whether bias measurements are sensitive to the choice of templates used for benchmarking. Specifically, we investigate the instability of bias measurements by manually modifying templates proposed in previous works in a semantically-preserving manner and measuring bias across these modifications. We find that bias values and resulting conclusions vary considerably across template modifications on four tasks, ranging from an 81% reduction (NLI) to a 162% increase (MLM) in (task-specific) bias measurements. Our results indicate that quantifying fairness in LLMs, as done in current practice, can be brittle and needs to be approached with more care and caution.

研究の動機と目的

• 大規模言語モデルの公平性評価に用いられる評価テンプレートにおける微細な意味的保存的変更に対するバイアス測定の感受性を調査すること。
• 同じ根本的なバイアス状況を異なる表現で評価するテンプレートベースの公平性ベンチマークが、一貫性があり信頼できる結果を生み出すかどうかを評価すること。
• 現在のバイアス評価において、最小限で手作業で選択されたテンプレートセットに依存していることの問題を提起し、モデルの公平性に関する誤解を招く結論を導く可能性があること。
• 単純なテンプレートベース診断に代わって、より包括的で多様性があり、人間による検証を経たベンチマーク戦略を提唱すること。

提案手法

• 先行研究の既存テンプレートを意味的に保存する形で手作業で変更し、核となる意味は保持するが表現が異なる代替バージョンを作成した。
• 元のテンプレートと変更済みテンプレートを、感情分析、毒性検出、自然言語推論（NLI）、マスキング言語モデル（MLM）の4つのNLPタスクに適用した。
• カイ二乗検定などの統計的検定を用いて、性別バイアスを評価するためのタスク固有のバイアスを測定し、元のテンプレートと変更済みテンプレートの結果を比較した。
• バイアスの結果（例：有意 vs. 有意でない）を分類し、テンプレートのバリエーション間での一貫性を評価した。
• 変更によるバイアススコアの変化の大きさを定量化し、元の測定値に対する増加率または減少率をパcent表記で報告した。
• モデルに依存しないアプローチを用いて、変更が整合的かつ意味を持つことを保証し、敵対的または人間による生成を避けるようにした。

実験結果

リサーチクエスチョン

• RQ1 バイアス測定は、テンプレート表現の微細な意味的保存的変更に対してどの程度感受性を示すか？
• RQ2 テンプレートの変更は、モデルが有意にバイアスを示すかどうかという結論をどの程度変えるか？
• RQ3 同じ根本的なバイアス状況の異なるバージョンのテンプレート間で、バイアススコアはどの程度変動するか？
• RQ4 同じバイアスがわずかに言い換えたテンプレートでテストされた場合、現在のテンプレートベースの公平性評価は一貫した結果を生み出すか？

主な発見

• バイアス測定はテンプレートの変更に対して顕著に変動し、NLIタスクでは最大81%のバイアススコアの低下が観察された。
• マスキング言語モデル（MLM）では、テンプレートの変更後、バイアススコアが最大162%上昇した。これは、モデル行動の認識に顕著なシフトが生じたことを示している。
• 感情分析では、33%の変更済みテンプレートが、元のテンプレートと比較して異なる分類（有意 vs. 有意でないバイアス）をもたらした。
• 毒性検出では、テンプレートの変更によってバイアススコアが127%上昇し、評価結果の不安定さが浮き彫りになった。
• 研究では、意味的内容が大きく変わらないままでも、モデルの公平性に関する結論がテンプレートの選定に極めて依存していることが判明した。
• これらの結果は、テンプレートベースの公平性評価が脆く、モデルバイアスに関する一貫性のない、あるいは誤解を招く結論を導く可能性があることを示している。