[論文レビュー] Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition

Samuel Dooley, Rhea Sanjay Sukthanker+4 more|arXiv (Cornell University)|Oct 18, 2022

Face recognition and analysis被引用数 11

ひとこと要約

本論文は、ニューラルアーキテクチャ探索（NAS）とハイパーパrameter最適化（HPO）を統合して、顔認識におけるバイアス低減のための新規アプローチを提案する。バイアスはモデルアーキテクチャ自体に内在しており、パレート最適な探索により、複数のデータセットおよび感受性属性（人種、性別、年齢など）において、既存のアーキテクチャやバイアス低減手法を大きく上回る精度と公平性を達成するモデルを同定した。

ABSTRACT

Face recognition systems are widely deployed in safety-critical applications, including law enforcement, yet they exhibit bias across a range of socio-demographic dimensions, such as gender and race. Conventional wisdom dictates that model biases arise from biased training data. As a consequence, previous works on bias mitigation largely focused on pre-processing the training data, adding penalties to prevent bias from effecting the model during training, or post-processing predictions to debias them, yet these approaches have shown limited success on hard problems such as face recognition. In our work, we discover that biases are actually inherent to neural network architectures themselves. Following this reframing, we conduct the first neural architecture search for fairness, jointly with a search for hyperparameters. Our search outputs a suite of models which Pareto-dominate all other high-performance architectures and existing bias mitigation methods in terms of accuracy and fairness, often by large margins, on the two most widely used datasets for face identification, CelebA and VGGFace2. Furthermore, these models generalize to other datasets and sensitive attributes. We release our code, models and raw data files at https://github.com/dooleys/FR-NAS.

研究の動機と目的

• 顔認識におけるモデルバイアスが、主にトレーニングデータや最適化の問題ではなく、アーキテクチャのインダクティブバイアスに起因するかどうかを調査すること。
• 顔認識のような困難な問題において、従来のバイアス低減手法（事前処理、インプロセッシング、事後処理）が継続的に失敗する理由を解明すること。
• 精度と公平性の両面で、モデルアーキテクチャとハイパーパrameterを同時に最適化する新しい機械学習の公平性パラダイムを構築すること。
• 公平な特徴量が、人種や年齢を含むさまざまなデータセットおよび感受性属性に一般化するかどうかを評価すること。
• 再現可能性および新しい公平性指標やデータセットへの適応を可能にするために、コード、モデル、データを公開すること。

提案手法

• CelebAおよびVGGFace2で、29種類の多様なアーキテクチャ（例：ResNets、Vision Transformers、MobileNetV3）を大規模に実験的に分析し、アーキテクチャとハイパーパrameterが公平性に与える影響を定量化する。
• アブレーションスタディで最も高い性能を示したモデルを根拠に、精度と公平性のバランスを取ったNAS空間を設計する。
• テスト精度と複数の公平性指標を最適化するため、多目的NASとHPOに適応した順次モデルベースのアルゴリズム構成（SMAC）フレームワークを適用する。
• ランク差異、差異、比率、誤差比率といった複数の公平性指標を定義・計算し、保護された属性ごとのモデルの公平性を評価する。
• 探索で得られた最良のモデルを外部データセット（例：人種を保護属性とするRFW、年齢を保護属性とするAgeDB）に移行させ、公平な表現の一般化をテストする。
• t-SNE可視化を用いて、NAS最適化モデルと標準モデルの間で、保護属性の特徴空間の線形分離可能性を比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャとハイパーパrameterが、顔認識システムにおける公平性に独立してどの程度影響を及えるか。
• RQ2 アーキテクチャとハイパーパrameterを同時に探索することで、精度と公平性の両面でパレート最適なモデルが得られ、既存の最先端手法を上回るか。
• RQ3 NAS最適化モデルが学習時に使用された属性（人種、年齢など）以外のデータセットや感受性属性に対しても、公平な特徴量を一般化できるか。
• RQ4 公平なモデルと標準モデルの両方の学習特徴空間において、保護属性（例：人種、性別、年齢）の線形分離性はどのように異なるか。
• RQ5 NASベースのアーキテクチャ探索は、実世界の顔認識ベンチマークにおいて、従来のバイアス低減戦略（事前処理、インプロセッシング、事後処理）を上回ることができるか。

主な発見

• アーキテクチャのインダクティブバイアスが、顔認識におけるバイアスの主な要因である。ランダムに初期化されたモデルですら、学習済みモデルと同様のバイアスパターンを示す。
• NAS + HPOアプローチにより、CelebAおよびVGGFace2の両方において、既存の高性能アーキテクチャやバイアス低減技術をすべてパレート優越するモデル（例：SMAC_301、SMAC_000）が発見された。
• VGGFace2において、最良のNASモデル（SMAC_301）は95.10％の精度と81.43％の公平性（誤差比率）を達成し、DPN_MagFace（92.16％の精度、60.80％の公平性）を大きく上回った。
• RFWデータセット（人種を保護属性）に移行した際、NAS最適化モデルは全5つの公平性指標においてパレート最適またはパレート優越的であり、強力な一般化性能を示した。
• AgeDB（年齢を保護属性）において、NASモデルは80.37％の精度と26.51％の差異を達成し、DPN_MagFace（68.17％の精度、31.29％の差異）を上回り、年齢層にわたる頑健性を示した。
• t-SNE可視化により、NAS最適化モデルが、標準モデル（例：DPN_MagFace）と比較して、最終層の特徴空間における保護属性（例：人種）の線形分離性が著しく低下していることが確認された。