[論文レビュー] Does Gender Matter? Towards Fairness in Dialogue Systems

Haochen Liu, Jamell Dacon+4 more|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 42被引用数 11

ひとこと要約

この論文は、多様性、礼儀正しさ、感情、属性語の4つの指標を用いたベンチマークデータセットと定量的公平性指標を導入することで、会話システムにおける性別および人種的バイアスを調査する。生成型およびリtrievalベースの会話モデルにおけるバイアスを顕著に低減する2つの有効なデバイアス化手法を提案し、性能を犠牲にすることなく公平性を向上させられることを示している。

ABSTRACT

Recently there are increasing concerns about the fairness of Artificial Intelligence (AI) in real-world applications such as computer vision and recommendations. For example, recognition algorithms in computer vision are unfair to black people such as poorly detecting their faces and inappropriately identifying them as "gorillas". As one crucial application of AI, dialogue systems have been extensively applied in our society. They are usually built with real human conversational data; thus they could inherit some fairness issues which are held in the real world. However, the fairness of dialogue systems has not been well investigated. In this paper, we perform a pioneering study about the fairness issues in dialogue systems. In particular, we construct a benchmark dataset and propose quantitative measures to understand fairness in dialogue models. Our studies demonstrate that popular dialogue models show significant prejudice towards different genders and races. Besides, to mitigate the bias in dialogue systems, we propose two simple but effective debiasing methods. Experiments show that our methods can reduce the bias in dialogue systems significantly. The dataset and the implementation are released to foster fairness research in dialogue systems.

研究の動機と目的

• 実際の人の会話データでトレーニングされた最先端の会話システムに、性別および人種的バイアスが存在するかどうかを調査すること。
• 会話システムにおける公平性を形式的に定義し、応答におけるバイアスを測定する定量的指標を開発すること。
• 性別および人種的バイアスを低減するが、性能を著しく低下させない単純で効果的なデバイアス化手法を提案・評価すること。
• 今後の会話システムにおける公平性研究を支援するため、ベンチマークデータセットとコードを公開すること。

提案手法

• 性別および人種的言語バリアント（例：'he' と 'she'、標準英語とアフリカ系アメリカン英語）を含むペaired文脈を含む新しいベンチマークデータセットを構築し、モデルの挙動を調査する。
• 4つの公平性指標を定義：感情極性シフト、礼儀正しさスコア、応答内容の多様性、ステレオタイプ的属性語の頻度。
• 語の埋め込みデバイアス化（例：Bolukbasi et al., 2016）を模倣した性別デバイアス化技術を用い、会話モデルの表現をファインチューニングする。
• データ拡張に基づくデバイアス化手法を導入し、訓練サンプルの重みを再調整することで、バイアスの強い応答生成を低減する。
• 自動評価と人的評価の組み合わせを用いて、公平性の向上を検証する。
• トランスフォーマーに基づくアーキテクチャを含む、リtrievalベースおよび生成型の両方の会話モデルで評価し、一般化可能性を確認する。

実験結果

リサーチクエスチョン

• RQ1 現代の会話システムに、特に性別および人種的バイアスのような公平性の問題が存在するか？
• RQ2 定性的または主観的な評価を超えて、会話システムにおける公平性をどのように定量的に測定できるか？
• RQ3 性能を劣化させることなく、会話モデルにおけるバイアスを低減する単純で効果的なデバイアス化手法を設計・適用できるか？
• RQ4 デバイアス化技術は、リtrieval型と生成型の異なる種類の会話モデルにおいて、どの程度公平性を向上させられるか？

主な発見

• 人気のある会話モデルは顕著な性別バイアスを示している：プロンプトで 'he' を 'she' に置き換えると、応答の感情が肯定的から否定的へシフトする。
• 人種的言語バリアント（例：'this' と 'dis'）では、アフリカ系アメリカン英語を使用する際、より攻撃的（offensive）な応答が生成される傾向があり、人種的バイアスが示されている。
• 提案されたデバイアス化手法は、感情指標および属性語指標において、性別バイアスを最大40％まで低減したが、応答品質への影響は最小限に抑えられた。
• ベンチマークデータセットは、多様な文脈においてバイアスのパターンを的確に捉えており、再現可能な公平性評価を可能にした。
• 感情に基づく公平性指標は人的判断と強く相関しており、その信頼性が裏付けられた。
• デバイアス化手法は、リtrievalベースおよび生成型の両方のモデルで公平性を向上させ、広範な適用可能性を示した。