[論文レビュー] Hi, my name is Martha: Using names to measure and mitigate bias in generative dialogue models

Eric M. Smith, Adina Williams|arXiv (Cornell University)|Sep 7, 2021

Authorship Attribution and Profiling参考文献 83被引用数 12

ひとこと要約

本稿では、性的・人種的偏見を生成的対話モデルから測定・軽減するための新規手法を提示する。名前を文化的・文化的要因に起因するアイデンティティの言語的代理指標として用いる。大きなモデルでは、性別に基づくステレオタイプ化が顕著に現れることを示し、名前の並び替え、制御生成、尤もらしさの罰則学習の3つの手法が有効なデバイアス化技術であることを評価した。これらの手法により、トークンレベルおよびシーケンスレベルの偏見が低減された。

ABSTRACT

All AI models are susceptible to learning biases in data that they are trained on. For generative dialogue models, being trained on real human conversations containing unbalanced gender and race/ethnicity references can lead to models that display learned biases, which we define here broadly as any measurable differences in the distributions of words or semantic content of conversations based on demographic groups. We measure the strength of such biases by producing artificial conversations between two copies of a dialogue model, conditioning one conversational partner to state a name commonly associated with a certain gender and/or race/ethnicity. We find that larger capacity models tend to exhibit more gender bias and greater stereotyping of occupations by gender. We show that several methods of tuning these dialogue models, specifically name scrambling, controlled generation, and unlikelihood training, are effective in reducing bias in conversation, including on a downstream conversational task. Name scrambling is also effective in lowering differences in token usage across conversations where partners have names associated with different genders or races/ethnicities.

研究の動機と目的

• 生成的対話モデルが、名前に関連する性別や人種／民族的背景に基づいて応答に偏見を示すかどうかを調査すること。
• 性別や人種／民族的背景が既知の名前を条件として用いた、モデル同士の人工的自己対話によるベンチマーク手法を新たに開発・評価すること。
• 名前の並び替え、制御生成、尤もらしさの罰則学習といった複数の緩和戦略が、対話生成における性別的および交差的偏見をどれほど低減できるかを評価すること。
• モデルサイズが、会話出力における学習された性別的および人種的偏見の強度に与える影響を検討すること。
• 性別的偏見を軽減するデバイアス化技術が、モデル出力における人種的偏見の軽減にも寄与するかどうかを検討すること。

提案手法

• 著者らは、1つのモデルインスタンスを特定の性別や人種／民族的背景に関連する名前で自己紹介させ、もう一方のモデルが自然に応答する自己対話実験を実施した。
• ラテン系女性に関連する名前（例：Latonya）、白人女性に関連する名前（例：Martha）など、性別および人種／民族的背景ごとに分類された名前のリストを収集し、多様な会話相手を模擬した。
• 偏見は、名前を条件とした会話における語の使用法や意味的コンテンツの差異を含む、トークンレベルおよびシーケンスレベルの指標で測定した。
• 本稿では、3つの緩和戦略を評価した：名前の並び替え（名前の順序をランダム化して文化的要因との関連を断ち切る）、制御生成（ペルソナ条件付けによる応答の誘導）、尤もらしさの罰則学習（偏見的だがありそうな出力を罰則する）。
• 人間による評価とACUTE-Evalを用いて、モデルの自然さと好みを評価し、アノテーターの平等主義的価値観への整合性に応じて結果を層別分析した。
• 本手法により、重複するアイデンティティ（例：黒人女性、アジア系アメリカ人男性）に関連する名前に対する応答を分析することで、交差的偏見の測定が可能になった。

実験結果

リサーチクエスチョン

• RQ1 生成的対話モデルは、特定の性別や人種に強く関連する名前で自己紹介された場合、異なる応答を出力するか？
• RQ2 モデルサイズが、職業的・社会的役割に関する性別的ステレオタイプ化の強度に相関するか？
• RQ3 名前の並び替え、制御生成、尤もらしさの罰則学習が、対話生成における性別的および人種的偏見をどれほど低減できるか？
• RQ4 性別的偏見を軽減するデバイアス化技術は、モデル出力における人種的偏見の軽減にも寄与するか？
• RQ5 平等主義的価値観の程度が異なる人間のアノテーターは、モデルの応答の公平さと自然さをどのように評価するか？

主な発見

• 大きな言語モデルでは、特に職業に関する性別的ステレオタイプ化が顕著に顕在され、顕著な性別的偏見を示した。
• 名前の並び替えは、特に異なる性別や人種に関連する名前に対する応答において、トークンレベルおよびシーケンスレベルの両方の偏見を効果的に低減した。
• 制御生成と尤もらしさの罰則学習も偏見を低減したが、尤もらしさの罰則学習は、偏った出力の発生確率を著しく低下させるという優れた性能を示した。
• 緩和戦略により、異なる文化的要因に関連する名前を持つ会話間での語の使用法や意味的コンテンツの差異が低減された。
• 人間による評価では、デバイアス化されたモデルが、特に平等主義的価値観に合致するアノテーターからより自然で好まれやすいと評価された。
• 本研究では、性別的偏見に有効なデバイアス化技術が、人種的偏見の低減にも寄与することを明らかにした。これは、これらの手法が文化的要因を越えて有効である可能性を示唆している。