[論文レビュー] Feature and Label Embedding Spaces Matter in Addressing Image Classifier Bias

William Thong, Cees G. M. Snoek|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、特徴空間におけるバイアス方向を特定し、各保護属性値固有のラベル埋め込みヘッドを導入することで、画像分類器のバイアスを軽減する二重空間アプローチを提案する。特徴空間におけるPCAベースのバイアス除去と、ラベル埋め込み上でのコサインソフトマックス交差エントロピー損失を組み合わせることで、バイアスの高い実世界のデータセットにおいて分類精度を損なわずに、多クラス、マルチラベル、バイナリ分類のベンチマークで公平性が向上する。

ABSTRACT

This paper strives to address image classifier bias, with a focus on both feature and label embedding spaces. Previous works have shown that spurious correlations from protected attributes, such as age, gender, or skin tone, can cause adverse decisions. To balance potential harms, there is a growing need to identify and mitigate image classifier bias. First, we identify in the feature space a bias direction. We compute class prototypes of each protected attribute value for every class, and reveal an existing subspace that captures the maximum variance of the bias. Second, we mitigate biases by mapping image inputs to label embedding spaces. Each value of the protected attribute has its projection head where classes are embedded through a latent vector representation rather than a common one-hot encoding. Once trained, we further reduce in the feature space the bias effect by removing its direction. Evaluation on biased image datasets, for multi-class, multi-label and binary classifications, shows the effectiveness of tackling both feature and label embedding spaces in improving the fairness of the classifier predictions, while preserving classification performance.

研究の動機と目的

• 保護属性のクラスプロトタイプを用いて、画像分類器の特徴空間における支配的バイアス方向を同定すること。
• 標準的なワンホットエンコーディングではなく、各保護属性値固有のラベル埋め込みを学習することでバイアスを軽減すること。
• 特にバイアスの高い実世界のデータセットにおいて、分類性能を低下させることなく、画像分類における公平性を向上させること。
• 多クラス、マルチラベル、バイナリ分類タスクにおいて、特徴空間とラベル埋め込み空間を併せて取り扱う有効性を評価すること。

提案手法

• 各保護属性値のクラスプロトタイプを計算し、PCAを用いて特徴空間における主なバイアス方向を同定する。
• 各保護属性値ごとに別々のプロジェクションヘッド（保護された分類ヘッド）を導入し、特徴を異なるラベル埋め込み空間にマッピングする。
• 保護されたラベル埋め込み定式化に基づき、多クラス、マルチラベル、バイナリ分類をサポートするコサインソフトマックス交差エントロピー損失を用いてモデルを訓練する。
• 訓練後、特徴空間における同定されたバイアス方向の直交補空間に特徴をプロジェクションすることで、バイアス除去処理を実施する。
• バックボーンネットワークとしてResNet18を用い、SGDで微調整し、初期学習率0.1、モーメンタム0.9、バッチサイズ128を設定する。
• 事前学習済みImageNet特徴を活用し、損失関数に温度スケーリング（0.1）を適用して訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 保護属性値間の差分の第一主成分が、保護属性値全体にわたるバイアスの最大分散を捉える共通のバイアス方向として同定可能か？
• RQ2 各保護属性値ごとにラベル埋め込みを学習することは、標準的なワンホットエンコーディングと比較して、画像分類における公平性を向上させるか？
• RQ3 特徴空間における同定されたバイアス方向を除去することで、予測におけるバイアスがどの程度さらに低減されるか？
• RQ4 バイアスの高い画像データセットにおいて、本手法は公平性と精度の両面で、公平性を保証するアプローチ（fairness-through-blindness）と比較して優れているか？

主な発見

• 保護クラスプロトタイプ間の差分の第一主成分が、特徴空間における支配的バイアス方向を捉えており、バイアスの最大分散を説明している。
• 保護ラベル埋め込みヘッドを用いた本手法は、性別予測（年齢が保護属性）におけるIMDB Faceデータセットで83.65％のテスト精度を達成し、ベースラインおよび先行手法を上回った。
• 年齢予測（性別が保護属性）では、73.08％のテスト精度を達成し、ベースラインおよび敵対的ベースラインを著しく上回った。
• 保護ラベル埋め込みと特徴空間における訓練後バイアス除去の組み合わせが、すべてのベンチマークで最高の公平性スコアを達成し、公平性を保証するアプローチよりも10–15％の改善を示した。
• 本手法はバイアスを低減しながらも高い分類性能を維持しており、特徴空間とラベル空間を併せてモデリングすることが、片方の空間にのみ対処するのと比較して、より効果的であることを示している。