[論文レビュー] Exposing and Correcting the Gender Bias in Image Captioning Datasets and Models

Shruti Bhargava Choubey, David Forsyth|arXiv (Cornell University)|Dec 1, 2019

Multimodal Machine Learning Applications被引用数 15

ひとこと要約

本稿では、性別中立的キャプション作成と性別分類を分離することで、画像キャプションにおける性別バイアスを排除する二段階的手法を提案する。性別に偏らないキャプション作成モデルを訓練し、文脈依存の性別バイアスを回避する。その後、人物のクロップ画像分類器を用いて正確な性別ラベルを注入することで、データセットバイアスを引き継がないまま、反ステレオタイプ的ベンチマークで最先端のパフォーマンスを達成する。

ABSTRACT

The task of image captioning implicitly involves gender identification. However, due to the gender bias in data, gender identification by an image captioning model suffers. Also, the gender-activity bias, owing to the word-by-word prediction, influences other words in the caption prediction, resulting in the well-known problem of label bias. In this work, we investigate gender bias in the COCO captioning dataset and show that it engenders not only from the statistical distribution of genders with contexts but also from the flawed annotation by the human annotators. We look at the issues created by this bias in the trained models. We propose a technique to get rid of the bias by splitting the task into 2 subtasks: gender-neutral image captioning and gender classification. By this decoupling, the gender-context influence can be eradicated. We train the gender-neutral image captioning model, which gives comparable results to a gendered model even when evaluating against a dataset that possesses a similar bias as the training data. Interestingly, the predictions by this model on images with no humans, are also visibly different from the one trained on gendered captions. We train gender classifiers using the available bounding box and mask-based annotations for the person in the image. This allows us to get rid of the context and focus on the person to predict the gender. By substituting the genders into the gender-neutral captions, we get the final gendered predictions. Our predictions achieve similar performance to a model trained with gender, and at the same time are devoid of gender bias. Finally, our main result is that on an anti-stereotypical dataset, our model outperforms a popular image captioning model which is trained with gender.

研究の動機と目的

• COCO画像キャプションデータセットにおける性別バイアスを調査・特定すること。具体的には、バイアスのある人間のアノテーションと統計的アンバランスを含む。
• 自己回帰的キャプション作成におけるラベルバイアスと文脈依存性が、トレーニングデータの性別バイアスをどのようにモデルに伝播させるかを分析すること。
• 性別バイアスを排除しつつ、高いキャプション品質を維持する手法を開発すること。
• トレーニング段階で性別バイアスを除去することで、反ステレオタイプ的画像に対するモデルの一般化性能が向上することを示すこと。

提案手法

• 画像キャプション作成を二つのサブタスクに分解する：性別中立的キャプション作成と別個の性別分類。
• COCOのキャプション内のすべての性別を示す代名詞や記述語を、性別に中立的な語（例：'man' や 'woman' の代わりに 'person'）に置き換えることで、性別中立的キャプション作成モデルを学習する。
• 人物のバウンディングボックスとボディマスクを用いて、文脈から被写体を分離した人物クロップ画像パッチ上で、性別分類器を学習する。
• 学習済みの性別分類器を用いて、画像内の各人物の性別を予測し、その予測結果を性別中立的キャプションに統合する。
• 性別中立的キャプションと予測された性別を組み合わせて、最終的な性別付きキャプションを生成する。これにより、文脈依存の性別推論を回避する。
• 標準ベンチマークおよび反ステレオタイプ的データセットを用いてモデルを評価し、バイアス低減とパフォーマンスを測定する。

実験結果

リサーチクエスチョン

• RQ1 統計的アンバランスと一貫性のない人間のアノテーションによって、COCO画像キャプションデータセットにどの程度の性別バイアスが存在するか？
• RQ2 画像キャプションモデルにおける文脈依存性の性別バイアスが、キャプション内の性別関連語以外の語の予測にどのように影響するか？
• RQ3 キャプション生成から性別分類を分離することで、ラベルバイアスを低減し、モデル予測の公平性を向上させられるか？
• RQ4 性別言語を含まない形で学習された性別中立的キャプションモデルは、標準の性別付きモデルと比較して、反ステレオタイプ的画像への一般化性能が優れているか？
• RQ5 別個に学習された高精度な人物ベースの性別分類器は、エンドツーエンドモデルを上回る性別予測性能を示し、文脈由来のバイアスを低減できるか？

主な発見

• 性別中立的キャプションモデルは、バイアスを含むテストセットで評価されても、性別付きモデルと同等のBLEUスコアを達成しており、バイアスなしで高いロバスト性を示している。
• 人間が存在しない画像に対して、性別中立的モデルは性別付きモデルとは顕著に異なるキャプションを生成しており、バイアスは性別語に限定されるのではなく、全体の言語パターンにまで及んでいることが示された。
• 人物クロップに基づく性別分類器は、全体の画像から性別を推定しようとする画像キャプションモデルよりも顕著に高い精度を達成した。
• 反ステレオタイプ的データセットにおいて、提案手法は標準の性別付きモデルを上回った。これは、バイアス除去が一般化性能の向上に寄与することを示している。
• ラベルバイアスが低減されたことが、キャプション内の関係のない語（例：'a man in a suit' ではなく 'a person in a suit'）に対する性別の影響が減少したことで裏付けられた。
• 本手法は、『man and woman』という語のバイアスも効果的に軽減した。性別付きモデルでは、一人の人物しか存在しない場合でも、ペアで性別語を過剰に予測する傾向があったが、本手法ではその問題が解消された。