[論文レビュー] REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets

Angelina Wang, Alexander Liu+7 more|arXiv (Cornell University)|Apr 16, 2020

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

REVISEは、オブジェクトベース、人物ベース、地理的ベースの3つの次元において、視覚的データセットのバイアスを自動で検出し、緩和するツールである。オブジェクト頻度、スケール、文脈、デモグラフィック表現、地理的分布を分析することで、データセットのキュレーションやモデル学習を支援する実行可能なイン사이트を提示し、コンピュータビジョンシステムにおける下流のバイアスを低減する。

ABSTRACT

Machine learning models are known to perpetuate and even amplify the biases present in the data. However, these data biases frequently do not become apparent until after the models are deployed. Our work tackles this issue and enables the preemptive analysis of large-scale datasets. REVISE (REvealing VIsual biaSEs) is a tool that assists in the investigation of a visual dataset, surfacing potential biases along three dimensions: (1) object-based, (2) person-based, and (3) geography-based. Object-based biases relate to the size, context, or diversity of the depicted objects. Person-based metrics focus on analyzing the portrayal of people within the dataset. Geography-based analyses consider the representation of different geographic locations. These three dimensions are deeply intertwined in how they interact to bias a dataset, and REVISE sheds light on this; the responsibility then lies with the user to consider the cultural and historical context, and to determine which of the revealed biases may be problematic. The tool further assists the user by suggesting actionable steps that may be taken to mitigate the revealed biases. Overall, the key aim of our work is to tackle the machine learning bias problem early in the pipeline. REVISE is available at https://github.com/princetonvisualai/revise-tool

研究の動機と目的

• モデルのデプロイ前に大規模な視覚的データセットにおける体系的なバイアス検出の欠如に対処すること。
• バイアスを引き起こす可能性のある、視覚的データにおける過小表現や誤表現を同定すること。
• 検出されたバイアスを軽減するための実行可能なレコメンデーションをデータセット作成者およびユーザーに提供すること。
• オブジェクト、人物、地理的表現の分析を通じて、事前のバイアス緩和を可能にすること。
• 手動でのレビューが見逃す可能性のある隠れたバイアスを明らかにすることで、コンピュータビジョンにおける透明性と公平性を支援すること。

提案手法

• オブジェクトベース（頻度、スケール、文脈、多様性）、人物ベース（デモグラフィック表現、性別／肌の色のアノテーション）、地理的ベース（地域的表現）の3つのバイアス次元を用いて視覚的データセットを分析する。
• オブジェクトの共起パターンとシーンの文脈を用いて、潜在的なクエリベースのデータ収集戦略を推定する。
• 目的のオブジェクトスケールを持つ画像を回復するためのクエリレコメンデーション（例：「飛行機と空」対「飛行機と地面」）を生成する。
• 実際のクエリが入手不可能な場合に、画像の共起に基づくプロキシ指標を用いて元の検索クエリを推定する。
• Flickrの画像検索結果を用いて、クエリの有効性を検証し、オブジェクトのサイズと文脈の制御を確認する。
• COCO、OpenImages、YFCC100M、BDD100Kといった実世界のデータセットと統合することで、実用的価値を実証する。

実験結果

リサーチクエスチョン

• RQ1 視覚的データセットにおけるバイアスを、オブジェクト、人物、地理的次元において体系的に検出する方法は何か？
• RQ2 画像内のオブジェクトのサイズと文脈は、元のデータ収集バイアスをどの程度反映しているか？
• RQ3 性別や肌の色のアノテーションは、画像のスケールや文脈とどの程度相関し、どのようなリスクを伴うか？
• RQ4 特にユーザ生成コンテンツにおいて、地理的プロビデンス（出典）はデータセット表現にどのような役割を果たすか？
• RQ5 実際のクエリが不明な場合に、プロキシベースのクエリレコメンデーションが、望ましいオブジェクトスケールを持つ画像を効果的に回復できるか？

主な発見

• COCOにおいて、飛行機、ベッド、ピザといったオブジェクトは頻繁に大きなサイズで描かれており、空撮や遠距離ビューの不足が原因である可能性が高く、ターゲットを絞ったデータ収集の必要性が示された。
• OpenImagesにおいて、小規模で低解像度の人物の69％がアノテーターによって男性とラベル付けされていたため、下流モデルへの性別バイアスの拡散リスクが浮き彫りになった。
• YFCC100Mにおいて、発展途上地域を含む47％の国が旅行者による写真によって主に表現されており、ステレオタイプな地理的表現が生じていた。
• クエリベースのレコメンデーション（例：「ピザと教室」対「ピザとブロッコリー」）により、検索結果におけるオブジェクトサイズの制御に成功し、ターゲットを絞ったクエリによるバイアス緩和の可能性を示した。
• 実際のクエリが入手不可能な場合でも、オブジェクトの共起パターンが元の検索クエリの信頼性の高いプロキシとして機能し、効果的なバイアス分析を可能にした。
• 本ツールは、特定のバイアスタイプについての事前知識がなくても、以前に気づかれなかったバイアスを検出可能であり、前向きな公平性向上に貢献する。