[論文レビュー] Fairness in Visual Clustering: A Novel Transformer Clustering Approach

Xuan-Bac Nguyen, Chi Nhan Duong+4 more|arXiv (Cornell University)|Apr 14, 2023

Face recognition and analysis被引用数 5

ひとこと要約

本論文は、保護属性ラベルの入手が困難な状況下でも、公平性を高めるために公平性に配慮した損失関数とクロスアテンション機構を導入した、トランスフォーマーに基づく新しいクラスタリングフレームワークを提案する。この手法は、BUPT-BalancedFaceで93.28%のF_Pおよび人種、年齢、性別、人種ごとの標準偏差2.47%という最先端の性能を達成しており、保護属性のラベルがなくても高い性能を発揮する。

ABSTRACT

Promoting fairness for deep clustering models in unsupervised clustering settings to reduce demographic bias is a challenging goal. This is because of the limitation of large-scale balanced data with well-annotated labels for sensitive or protected attributes. In this paper, we first evaluate demographic bias in deep clustering models from the perspective of cluster purity, which is measured by the ratio of positive samples within a cluster to their correlation degree. This measurement is adopted as an indication of demographic bias. Then, a novel loss function is introduced to encourage a purity consistency for all clusters to maintain the fairness aspect of the learned clustering model. Moreover, we present a novel attention mechanism, Cross-attention, to measure correlations between multiple clusters, strengthening faraway positive samples and improving the purity of clusters during the learning process. Experimental results on a large-scale dataset with numerous attribute settings have demonstrated the effectiveness of the proposed approach on both clustering accuracy and fairness enhancement on several sensitive attributes.

研究の動機と目的

• 保護属性のラベルが入手困難な状況下でも、教師なし視覚的クラスタリングにおける人種的バイアスを是正すること。
• クラスタ純度（各クラスタ内における正例の割合とその相関度）を指標として用いることで、クラスタリングにおける公平性を定義・測定すること。
• 異なる人種的グループのクラスタ間での純度の一貫性を強制する新しい損失関数を設計し、バイアスを軽減すること。
• 遠く離れた正例とクラスタ重心との関係性を強化することでクラスタ品質を向上させる、新しいクロスアテンション機構を設計すること。
• 人種、年齢、性別、人種といった複数の感受性属性に対して、保護属性ラベルに依存せずに、同時に最先端のクラスタリング精度と公平性を達成すること。

提案手法

• クラスタ純度（クラスタ内における正例の数とその相関度の比）として定義される、新たな公平性指標を提案し、人種的バイアスを定量化する。
• クラスタ間での純度の分散を最小化することで公平性を促進する、公平性正則化損失 $\mathcal{L}^{fair}$ を導入する。
• クラスタ間相関を計算することで、遠く離れた正例とクラスタ重心との関係性を強化する、新しいクロスアテンション（C-ATT）機構を設計する。
• 表現品質とクラスタの凝集性を向上させるために、特徴最大化損失 $\mathcal{L}^{FMI}$ を採用する。
• 340万枚の屋外画像を用いた自己教師あり事前学習を実施し、その後BUPT-BalancedFaceで公平性制約付きのファインチューニングを実施する。
• クラスタ固有のクエリを用いたマルチヘッドアテンション機構を採用し、クラスタ純度と相関度に応じて動的にアテンションを調整する。

実験結果

リサーチクエスチョン

• RQ1 教師なし視覚的クラスタリングにおける人種的バイアスを測定するための信頼性のある代理指標として、クラスタ純度が適切に機能するか？
• RQ2 保護属性ラベルが入手できない状況下で、クラスタリングにおける公平性をどのように確保できるか？
• RQ3 新規アテンション機構により、少数派グループのサンプルの表現が、長距離の正の相関関係を強化することで向上するか？
• RQ4 クラスタ間での純度の一貫性を強制することで、同時にクラスタリング精度と公平性が向上するか？
• RQ5 人種、年齢、性別、人種といった多様な感受性属性に対して、本手法はどれほど頑健であるか？

主な発見

• 本手法は、BUPT-BalancedFaceで4つの人種において93.28%のF_Pを達成し、人種、年齢、性別、人種の各属性で標準偏差2.47%を記録し、精度と公平性の両面で先行手法を上回った。
• アブレーションスタディの結果、C-ATT、$\mathcal{L}^{fair}$、$\mathcal{L}^{FMI}$ の組み合わせが最良の性能を発揮し、ベースラインと比較して標準偏差が1.42ポイント低下した。
• 異なるサブクラスタ設定に対しても安定した性能を維持しており、F_Pスコアはk=4の93.28% ± 2.47%からk=16の92.52% ± 3.09%まで変動するにとどまり、高い頑健性を示した。
• 年齢、性別、人種の各属性において、本手法はベースラインと比較して標準偏差が低く抑えられており、多様な属性にわたる優れた公平性を示した。
• FairFaceを用いた属性予測（閾値0.9）により高信頼度の評価が可能となり、全属性スプリットで一貫した最先端性能を達成した。
• BUPT-In-the-wildデータセット（340万枚の画像）では98.44%のF_Pを達成しており、優れた一般化性能とスケーラビリティを示した。