[論文レビュー] Mitigating Gender Bias for Neural Dialogue Generation with Adversarial Learning

Haochen Liu, Wentao Wang+4 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、バイアスのない性別特徴（例：'かっこいい男性'）とバイアスのある性別特徴（例：ステレオタイプ的な仮定）を分離することで、応答品質や多様性を損なわず、多様で公平で文脈的に適切な応答を生成できるようにする、敵対的学習フレームワーク「Debiased-Chat」を提案する。2つの実世界データセットを用いた実験により、応答の関与度や性別特異性を維持したまま顕著なバイアス低減が達成された。

ABSTRACT

Dialogue systems play an increasingly important role in various aspects of our daily life. It is evident from recent research that dialogue systems trained on human conversation data are biased. In particular, they can produce responses that reflect people's gender prejudice. Many debiasing methods have been developed for various NLP tasks, such as word embedding. However, they are not directly applicable to dialogue systems because they are likely to force dialogue models to generate similar responses for different genders. This greatly degrades the diversity of the generated responses and immensely hurts the performance of the dialogue models. In this paper, we propose a novel adversarial learning framework Debiased-Chat to train dialogue models free from gender bias while keeping their performance. Extensive experiments on two real-world conversation datasets show that our framework significantly reduces gender bias in dialogue models while maintaining the response quality. The implementation of the proposed framework is released.

研究の動機と目的

• 人間が生成した会話データに基づいて学習されるニューラル対話システムにおける性別バイアスの増大する懸念に対処すること。
• 有害なステレオタイプを排除しつつ、応答に意味のある性別特徴を保持するデバイアス化手法を開発すること。
• 性別ごとに同一の出力を強制することで応答の多様性が低下する既存のデバイアス化手法の限界を克服すること。
• 男性関連および女性関連の入力に対して、それぞれ異なる、公平で文脈的に適切な応答を生成できるフレームワークを設計すること。

提案手法

• 対話応答におけるバイアスのない性別特徴（例：'かっこいい男性'）とバイアスのある性別特徴（例：ステレオタイプ的な仮定）の概念を導入する。
• 性別関連の発話内において、バイアスのない特徴とバイアスのある特徴を分離するための分離モデルを設計する。
• バイアスのある性別特徴を検出するように訓練されたディスクライマーと、バイアスを最小限に抑えつつバイアスのない特徴を保持するように訓練されるジェネレーターからなる敵対的学習フレームワークを構築する。
• 応答生成損失、分離損失、敵対的損失を組み合わせた損失関数を用いて対話モデルを訓練し、公平性と応答品質のバランスをとる。
• 分離モジュールを用いて応答内の妥当な性別特異語を特定・保持することで、バイアスなしに性別の違いを維持する。
• 一回転の設定に限定して、seq2seq対話モデルにこのフレームワークを適用し、'話題としての性別'の次元におけるバイアス低減に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 応答品質や多様性を損なわず、ニューラル対話モデルにおける性別バイアスを低減できるか？
• RQ2 ステレオタイプ的またはバイアスのある関連性を排除しつつ、意味的でバイアスのない性別特徴を対話応答に保持できるか？
• RQ3 敵対的学習と分離技術は、既存のデバイアス化手法と比較して、対話生成における公平性をどの程度向上できるか？
• RQ4 本稿で提案するフレームワークは、実世界の対話データセットにおいてバイアスを低減しながらも、応答の関与度と性別特異性を維持できるか？

主な発見

• Debiased-Chatフレームワークは、公平性指標で測定したところ、2つの実世界データセットにおいて対話モデルの性別バイアスを顕著に低減した。
• このモデルは、ベースラインのデバイアス化手法が見せるように、性別ごとに同一化された出力を避けることで、公平で多様な応答を生成した。
• Debiased-Chatが生成する応答は、バイアスのない表現（例：'かっこいい男性'、'美しい女性'）を保持しながら、バイアスのある表現を排除した。
• CDA や WER といったベースライン手法とは異なり、異なる性別に対して同一で退屈な応答を生成するのではなく、文脈的および性別特異的な違いを維持しているため、本手法は優れている。
• 分離モデルは、バイアスのない性別特徴を効果的に特定・保持できており、ジェネレーターが異なる、公平で文脈的に適切な応答を生成できるようにした。
• 敵対的学習コンponentは、ディスクライマーがバイアスのある特徴を検出する能力を効果的に低下させ、モデルのバイアス耐性が確認された。