[論文レビュー] Stereotyping and Bias in the Flickr30K Dataset

Emiel van Miltenburg|arXiv (Cornell University)|May 19, 2016

Bioinformatics and Genomic Networks被引用数 53

ひとこと要約

この論文は、Flickr30Kの画像キャプションデータセットに広がるステレオタイプや言語的バイアスを特定し、クラウドソーシングによる記述が視覚的コンテンツを超えて不当な推論や性別に基づく仮定を反映していることを示している。言語的バイアスと不当な推論の分類法を提唱し、学習データに内在するバイアスを認識する必要性を訴え、画像記述における知覚的層と文脈的層を区別できるモデルの開発を提言している。

ABSTRACT

An untested assumption behind the crowdsourced descriptions of the images in the Flickr30K dataset (Young et al., 2014) is that they "focus only on the information that can be obtained from the image alone" (Hodosh et al., 2013, p. 859). This paper presents some evidence against this assumption, and provides a list of biases and unwarranted inferences that can be found in the Flickr30K dataset. Finally, it considers methods to find examples of these, and discusses how we should deal with stereotype-driven descriptions in future applications.

研究の動機と目的

• Flickr30Kのキャプションが、画像の内容から直接導けないステレオタイプ的またはバイアスのある言語をどれだけ含んでいるかを調査すること。
• 画像記述に見られる言語的バイアスおよび不当な推論の種類を特定・分類すること。
• キャプションが視覚的入力に基づくものであるという仮定に疑問を呈し、アノテーターの期待や文化的規範の役割を強調すること。
• マルチモーダルデータセットにおけるバイアスを検出する手法を提言し、AIモデルの学習にこうしたデータをより責任ある形で使用するよう提言すること。
• 知覚的特徴とステレオタイプ的な文脈的解釈を区別できるモデルの開発を促進すること。

提案手法

• 画像とその5つのクラウドソーシングキャプションのサンプルを分析し、画像から単独で導けない情報を含む記述を特定すること。
• バイアスのある記述を2つのカテゴリに分類すること：言語的バイアス（社会的ステレオタイプを反映する語彙の選択に現れるもの）と不当な推論（世界知識に基づく推測的解釈）。
• 具体的な例を検討するための定性的分析を実施し、たとえば「女性を『暑い』と表現する」や、「画像に証拠がないにもかかわらず『部下をしかりつける上司』と描写する」ことなど。
• 言語的バイアスの分類法を適用し、性別規範からの逸脱を示す形容詞（例：『頑固な女性』）や、非適合を示す否定（例：『ゴミ収集の男は頭が悪いとは言えない』）の使用を分析すること。
• 文化的に特化したステレオタイプへの過剰依存を減らすために、多言語的または多文化的データの使用を提言すること。
• 知覚的内容と文脈的解釈のための別々の表現を学習するモデルの開発を提唱し、画像を直接的にバイアスのある記述にマッピングするのではなく、それらを分離すること。

実験結果

リサーチクエスチョン

• RQ1 Flickr30Kのキャプションは、画像の視覚的コンテンツを超えて、どの程度不当な推論を反映しているか？
• RQ2 性別に基づく形容詞や否定といった言語的バイアスは、画像記述にどのように現れ、アノテーターの期待に何を明らかにしているか？
• RQ3 ステレオタイプに基づく記述を分類するための体系的な分類法を、マルチモーダルデータセットに開発できるか？
• RQ4 文化的および性別的バイアスが広く存在するデータを用いてニューラル画像キャプションモデルを学習させることの意味は何か？
• RQ5 知覚的特徴とステレオタイプ的な文脈的解釈を区別できるように、モデルはどのように設計すべきか？

主な発見

• Flickr30Kデータセットの複数のキャプションには、画像に表示されていない情報が含まれており、たとえば『部下をしかりつける上司』と描写する、または『暑い』と表現するなど、不当な推論が示されている。
• 性別規範からの逸脱を示す形容詞の使用が言語的バイアスとして顕在しており、たとえば『頑固な女性』という表現は、ステレオタイプ的期待からの逸脱を示している。
• 否定は非適合を示すために用いられており、『ゴミ収集の男は頭が悪いとは言えない』という表現は、アノテーターが性別と知能に関する潜在的な仮定を持っていることを明らかにしている。
• データセットは文化的および性別的ステレオタイプを反映しており、たとえば男性はマネージャーである可能性が高く、女性は部下である可能性が高いという仮定が、視覚的証拠がないにもかかわらず存在する。
• 複数のアノテーターにわたって一貫したステレオタイプ的な記述が見られるのは、バイアスがランダムではなく体系的であることを示しており、AIモデルが有害な社会的規範を強化する可能性がある。
• 本論文は、データのバイアスを削除すべきではない（代表的な性質を保つため）が、モデル設計において認識され、是正されなければならないと結論づけている。