[論文レビュー] Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning

Natalie Dullerud, Karsten Roth+3 more|arXiv (Cornell University)|Mar 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文は、再帰@k、整合性、均一性を用いて表現空間におけるサブグループギャップを測定することで、深層度画像学習（DML）における公平性を評価するためのベンチマークであるfinDMLを紹介する。PARADEと呼ばれる手法を提案し、感度属性からの特徴表現の相関を解消することで、不均衡な上流学習データがある中でも、下流タスクにおけるサブグループのパフォーマンスギャップを最大2%まで低減する。

ABSTRACT

Deep metric learning (DML) enables learning with less supervision through its emphasis on the similarity structure of representations. There has been much work on improving generalization of DML in settings like zero-shot retrieval, but little is known about its implications for fairness. In this paper, we are the first to evaluate state-of-the-art DML methods trained on imbalanced data, and to show the negative impact these representations have on minority subgroup performance when used for downstream tasks. In this work, we first define fairness in DML through an analysis of three properties of the representation space -- inter-class alignment, intra-class alignment, and uniformity -- and propose finDML, the fairness in non-balanced DML benchmark to characterize representation fairness. Utilizing finDML, we find bias in DML representations to propagate to common downstream classification tasks. Surprisingly, this bias is propagated even when training data in the downstream task is re-balanced. To address this problem, we present Partial Attribute De-correlation (PARADE) to de-correlate feature representations from sensitive attributes and reduce performance gaps between subgroups in both embedding space and downstream metrics.

研究の動機と目的

• 不均衡なデータで学習された際の深層度画像学習（DML）における公平性の乖離を特定および定量化すること。
• 保護属性にわたる表現品質を評価する、DMLにおけるサブグループ公平性のベンチマークを確立すること。
• 上流の埋め込みがバイアスを含む場合、下流の公平性はデータの再バランスによって回復できないことを示すこと。
• クラス特徴と区別するための特徴から感度属性を分離する新しい手法PARADEを提案すること。

提案手法

• 5つのデータセット（CARS196, CUB200, CelebA, LFW）を用いたfinDMLを提案し、DMLにおける公平性を評価するための不均衡データを組み込む。
• 3つの公平性指標を定義する：サブグループごとのクラスタリング性能を測る再帰@k、クラス間類似度を測る整合性、クラス内コンパクトネスを測るグループ均一性。
• PARADEを導入し、訓練時に2つの埋め込みを学習する：1つはクラス類似度、もう1つは感度属性類似度。その後、重み付き損失を用いてそれらを相関から解体する。
• 二重ヘッドアーキテクチャを採用し、テスト時には感度属性埋め込みを破棄することで、最終的なクラス埋め込みが保護属性に対して不変になるようにする。
• 最悪グループパフォーマンスを最適化するため、PARADEのハイパーパrameter（α_SA, ρ）をグリッドサーチで最適化する。
• PARADEを訓練中に統合するために、標準的なDML損失（例：トリプレット、コントラスト型、ArcFace）を変更して使用する。

実験結果

リサーチクエスチョン

• RQ1 不均衡なデータで学習された際、異なる最先端DML手法におけるサブグループパフォーマンスギャップは、どのように変化するか？
• RQ2 上流の埋め込みがバイアスを含む場合、下流の公平性はデータの再バランスによって回復可能か？
• RQ3 感度属性からの特徴表現の相関を解体することで、上流および下流タスクにおけるサブグループギャップは低減可能か？
• RQ4 提案された公平性指標（再帰@k、整合性、均一性）は、DMLにおけるサブグループ公平性をどのように捉えているか？

主な発見

• 不均衡なデータで学習した際、DMLのサブグループギャップは上流タスクで最大21%、下流分類タスクで最大45.9%に達する。
• 下流分類器がバランスの取れたデータで学習されても、上流のバイアスを含む埋め込みのため、パフォーマンスギャップは継続する。
• PARADEは、最先端DML手法のすべてにおいて、下流指標におけるサブグループギャップを最大2%まで低減し、その有効性を示している。
• ベンチマークであるfinDMLは、多様なDML手法およびデータセットにおいて公平性の乖離を的確に特定し、広範なバイアスの伝搬を明らかにした。
• PARADEによる感度属性とクラス特徴の相関の解消は、全体のパフォーマンスを損なわず、測定可能な公平性の向上をもたらした。