[論文レビュー] UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models

Arvindkumar Krishnakumar, Viraj Prabhu+2 more|arXiv (Cornell University)|Oct 29, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

UDIS は、階層的クラスタリングと勾配加重クラス活性化マップ（GradCAM）を用いて、データセット埋め込みの階層的クラスタリングと勾配加重クラス活性化マップ（GradCAM）を用いて、深層視覚認識モデルにおけるバイアスを、保護属性のアノテーションを必要とせずに、モデルが体系的に性能を発揮しない部分集合（サブポピュレーション）を特定することで、非教師ありで発見する手法である。この手法は、『カップ』と誤分類するスクリーンを含む画像や、テディベアを『ベッド』に関連付けるといった、誤った相関関係（スプライアス相関）を検出でき、CelebA および MSCOCO データセットで有効性を示している。

ABSTRACT

Deep learning models have been shown to learn spurious correlations from data that sometimes lead to systematic failures for certain subpopulations. Prior work has typically diagnosed this by crowdsourcing annotations for various protected attributes and measuring performance, which is both expensive to acquire and difficult to scale. In this work, we propose UDIS, an unsupervised algorithm for surfacing and analyzing such failure modes. UDIS identifies subpopulations via hierarchical clustering of dataset embeddings and surfaces systematic failure modes by visualizing low performing clusters along with their gradient-weighted class-activation maps. We show the effectiveness of UDIS in identifying failure modes in models trained for image classification on the CelebA and MSCOCO datasets.

研究の動機と目的

• 人種や性別などの保護属性の手作業による高コストなアノテーションに依存せずに、深層学習モデルにおけるバイアスを検出する課題に対処すること。
• 保護属性のアノテーションが不要な非教師あり手法を開発し、モデルの性能が顕著に低下するサブポピュレーションを特定することで、スプライアス相関に起因する潜在的な失敗モードを同定すること。
• 実世界の応用に向けた展開の前に、深層学習モデルのバイアスをスケーラブルかつ自動的に監査できるようにすること。
• GradCAM を用いてこれらの失敗モードを可視化・分析し、モデル開発者がバイアスを解釈・診断できるようにすること。
• UDIS が、実世界のデータセット（CelebA や MSCOCO など）で実際に効果を発揮することを示すこと。特に、文脈的スプライアス相関（例：スクリーン、帽子、髪の色）に関連する失敗モードを発見すること。

提案手法

• UDIS は、トレーニング済みモデルのテストセットから抽出した深層特徴埋め込みを用いて階層的クラスタリングを実行し、活性化パターンが明確に異なるサブポピュレーションを発見する。
• 全体のテストセットと比較して顕著に低い正答率を示す「低性能クラスタ」を特定し、これが体系的な失敗モードを示していると判断する。
• 各低性能クラスタに対して、UDIS は GradCAM ヒートマップを生成し、予測時にモデルがどの画像領域に注目しているかを可視化する。
• この手法は、モデルの注目マップを活用し、予測が関連する特徴ではなく、不適切なスプライアスな手がかり（例：髪の色、襟、スクリーン）に起因しているかどうかを特定する。
• UDIS はテスト分割のみに依存し、保護属性のアノテーションを一切必要としないため、スケーラブルでコスト効率が良い。
• 本手法は、CelebA（笑顔予測）および MSCOCO（マルチラベル分類）でトレーニングされたモデルに適用され、『カップ』の分類にスクリーンの存在が関連しているなど、スクリーンやテディベアが『ベッド』と関連付けられるといったバイアスが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 保護属性のアノテーションが不要な非教師あり手法が、深層視覚モデルが体系的に性能を発揮しないサブポピュレーションを検出できるか？
• RQ2 モデルが学習する誤った相関関係（例：関係のない画像領域への依存）は、特定のサブポピュレーションにおける性能低下を引き起こすのか？
• RQ3 UDIS は、実世界のデータセットにおいて、文脈的バイアスを持つ特徴（例：スクリーン、帽子、髪の色）に関連する失敗モードをどれほど効果的に発見できるか？
• RQ4 GradCAM 視覚化は、発見された失敗モードの性質を解釈・検証するのにどの程度役立つか？
• RQ5 UDIS は、人種や性別といった特定の属性への一般化過剰といった既知の文化的またはデータセットバイアスと整合するバイアスを明らかにできるか？

主な発見

• UDIS は、バイアスがかかる CelebA データセットで、モデルが髪の領域に注目しているクラスタを特定し、『黒髪』属性への学習バイアスが顕在化していることを示した。この特徴は、笑顔予測とは無関係であるにもかかわらず。
• MSCOCO データセットでは、UDIS がスクリーンが存在する画像で『カップ』の予測が過剰に発生していることを発見し、スクリーンとカップの間のスプライアス相関を明らかにした。
• また、ベッドが存在しないにもかかわらずテディベアが登場すると『ベッド』と予測するというバイアスも発見され、テディベアとベッドの間の学習済み相関関係が示された。
• GradCAM 視覚化により、モデルが実際に注目すべき領域（例：笑顔のための口元）ではなく、関係のない画像領域（例：襟、髪）に注目していることが確認され、スプライアス特徴に起因するモデルの不安定性が示された。
• UDIS は、保護属性のアノテーションなしに複数のクラスタで失敗モードを検出でき、そのスケーラビリティと非教師あり性が裏付けられた。
• このツールは、特定のサブポピュレーションにおいてモデルの性能が顕著に低下していることを明らかにした。視覚的説明からは、注目が関係のない画像領域にずれていることが示された。