[論文レビュー] Societal Biases in Language Generation: Progress and Challenges

Emily Sheng, Kai-Wei Chang+2 more|arXiv (Cornell University)|May 10, 2021

Multimodal Machine Learning Applications参考文献 89被引用数 12

ひとこと要約

本論文は、自然言語生成（NLG）における社会的バイアスに関する包括的なサーベイを提示し、事前学習モデルとデコード手法が、弱い立場にあるグループに対するバイアスを強化する仕組みを特定している。実験的分析により、デコード戦略がバイアス出力に顕著な影響を与えることが示され、チャットボットや翻訳機などの実世界応用における被害を低減するため、NLGシステムにおける公平性に配慮した設計を提唱している。

ABSTRACT

Technology for language generation has advanced rapidly, spurred by advancements in pre-training large models on massive amounts of data and the need for intelligent agents to communicate in a natural manner. While techniques can effectively generate fluent text, they can also produce undesirable societal biases that can have a disproportionately negative impact on marginalized populations. Language generation presents unique challenges for biases in terms of direct user interaction and the structure of decoding techniques. To better understand these challenges, we present a survey on societal biases in language generation, focusing on how data and techniques contribute to biases and progress towards reducing biases. Motivated by a lack of studies on biases from decoding techniques, we also conduct experiments to quantify the effects of these techniques. By further discussing general trends and open challenges, we call to attention promising directions for research and the importance of fairness and inclusivity considerations for language generation applications.

研究の動機と目的

• 性別、人種、性的指向など、多様な人口統計的次元における自然言語生成（NLG）における社会的バイアスを体系的にサーベイすること。
• データキュレーション、モデルアーキテクチャ、デコード手法がNLGシステムにおけるバイアス強化にどのように寄与するかを調査すること。
• 特に、デコード手法がバイアス伝搬に果たす役割に関する研究の不足という、現在の研究における重要なギャップを特定すること。
• インタラクティブな学習、改善された評価指標、インパクト指向のフレームワークを含む、実行可能な研究方向性を提案すること。
• 弱い立場にある集団に不均等な被害をもたらさないよう、NLG応用における公平性と包摂性の重要性を強調すること。

提案手法

• 自動補完、対話、機械翻訳、テキスト再執筆などのタスクを対象として、NLGにおける社会的バイアスに関する既存の文献を包括的にサーベイすること。
• 性的指向、人種、宗教などの人口統計的次元別およびNLGタスク別にバイアスを分類し、バイアスの現れ方の全体像をマップすること。
• グリーディサーチ、ビームサーチ、ヌクレアスサンプリングなどの異なるデコード手法が、テキスト生成におけるバイアス出力に与える影響を定量化するための制御実験を実施すること。
• デコード戦略が、代表されないグループに対するステレオタイプ的または有害なコンテンツの生成確率をどのように調整するかを分析すること。
• 人口統計的グループ間の多様性と代表性を重視する、バイアスに配慮したデータキュレーションのフレームワークを提言すること。
• 抽象的なバイアス指標から、弱い立場のコミュニティに生じる実世界の被害を反映するインパクトに整合した指標へのシフトを提言すること。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的言語モデルにおける異なるデコード手法が、弱い立場にある人口統計的グループに対するバイアスの生成にどのように影響を与えるか。
• RQ2 現代のNLGシステムにおける社会的バイアスの主な発生源は何か。また、それらはデータ、モデルアーキテクチャ、推論メカニズムからどのように生じるか。
• RQ3 なぜデコード手法がバイアスの原因であるという研究が不足しているのか。このギャップはどのように埋められるか。
• RQ4 バイアス評価指標は、害の規範的定義や歴史的不平等をよりよく反映するようにどのように見直すべきか。
• RQ5 インタラクティブで継続的な学習は、時間の経過とともにより公平なNLGシステムを構築する上で果たす役割は何か。

主な発見

• ビームサーチやヌクレアスサンプリングなどのデコード手法は、ステレオタイプ的またはバイアスのあるコンテンツの生成確率に顕著な影響を与え、一部の手法では性別や人種バイアスを他の手法よりも顕著に強化することが判明した。
• 本研究では、データとモデルアーキテクチャは広く研究されている一方で、デコード戦略はそのバイアス出力に顕著な影響を与えるにもかかわらず、依然として研究が不足しているという重要なギャップを特定した。
• 既存のバイアス評価データセットは、しばしば二項の性別分類に焦点を当てており、非二元的性別や交差的アイデンティティを十分に表現できていないため、バイアス評価の公平性が制限されている。
• 語彙頻度比に依存する絶対バイアス指標は、構造的不平等の本質を隠蔽し、害の規範的定義や社会的階層と一致しないことがある。
• NLGにおけるバイアスが弱い立場のコミュニティに実世界で生じる否定的影響と意味的に結びついた研究が不足しており、特に弱い立場の集団に向けたインパクト指向の評価フレームワークの必要性が浮き彫りになった。
• 著者らは、バイアス中心の評価から害中心の評価へのシフトを提唱し、代表されないグループに生じる実際の否定的結果を低減することを重視する指標の導入を促進している。