[論文レビュー] Fair Multi-Exit Framework for Facial Attribute Classification

Ching-Hao Chiu, Hao‐Wei Chung+3 more|arXiv (Cornell University)|Jan 8, 2023

Face recognition and analysis被引用数 6

ひとこと要約

この論文は、浅いネットワーク層からの早期終了を可能にすることで、精度を損なわず公平性を向上させる、公平性指向のマルチエグジットフレームワークを提案している。内部分類器を精度と公平性の両方を最適化する目的関数で訓練し、信頼度に基づく早期終了ポリシーを用いることで、CelebAおよびUTK Faceデータセットにおいてトップ1精度と公平性の間で最先端のトレードオフを達成した。

ABSTRACT

Fairness has become increasingly pivotal in facial recognition. Without bias mitigation, deploying unfair AI would harm the interest of the underprivileged population. In this paper, we observe that though the higher accuracy that features from the deeper layer of a neural networks generally offer, fairness conditions deteriorate as we extract features from deeper layers. This phenomenon motivates us to extend the concept of multi-exit framework. Unlike existing works mainly focusing on accuracy, our multi-exit framework is fairness-oriented, where the internal classifiers are trained to be more accurate and fairer. During inference, any instance with high confidence from an internal classifier is allowed to exit early. Moreover, our framework can be applied to most existing fairness-aware frameworks. Experiment results show that the proposed framework can largely improve the fairness condition over the state-of-the-art in CelebA and UTK Face datasets.

研究の動機と目的

• 深層ネットワークのより深い層から特徴を抽出するほど精度は向上するが、公平性が低下するという直感に反する観察を解明すること。
• 各内部分類器に公平性制約を設けたマルチエグジット学習フレームワークを導入することで、顔属性分類における公平性と精度のトレードオフを是正すること。
• 既存の公平性に配慮したモデルに容易に統合できる柔軟で拡張可能なフレームワークを構築すること。
• 信頼度に基づく早期終了ポリシーが、各テストインスタンスに対して最適な予測を選択し、公平性と精度のバランスを取る効果を検証すること。

提案手法

• マルチエグジットネットワークを拡張し、各内部分類器（IC）を、ターゲット属性の精度と公平性（等しいオッズを用いて測定）の両方を最適化する統合損失関数で訓練する。
• 各内部分類器は、ターゲット属性の分類損失と、センシティブ属性（例：性別、人種）へのバイアスを低減するための公平性損失の両方を最小化するように訓練される。
• 推論時、信頼度に基づく早期終了ポリシーが適用され、予測信頼度がしきい値を超える最初の内部分類器の出力を選択することで、計算コストを削減し、公平性を向上させる。
• このフレームワークはプラグアンドプレイ設計であり、MFD、FSCL+など既存の公平性に配慮したモデルと容易に統合可能である。
• ResNetバックボーンの複数の残差ブロック（例：Conv2_x から Conv5_x）の特徴表現を活用し、各ブロックを潜在的なエグジットポイントとして機能させる。
• アブレーションスタディにより、各エグジットポイントに公平性制約を適用することで、精度が向上する一方で公平性が低下する深層層の問題を防止できることを確認した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのより深い層から特徴を抽出する際、精度は向上するが、顔属性分類における公平性が低下するのか？
• RQ2 公平性に配慮した内部分類器を備えたマルチエグジット学習フレームワークは、深層層で観察される公平性の低下を緩和できるか？
• RQ3 信頼度に基づく早期終了ポリシーは、最終層のみを使用する場合と比較して、公平性と精度のトレードオフにどのような影響を与えるか？
• RQ4 提案されたフレームワークは、既存の公平性に配慮したモデルと効果的に組み合わせられ、精度を損なわず公平性をさらに向上できるか？

主な発見

• CelebAおよびUTK Faceデータセットにおいて、提案フレームワークは最終層分類器と比較して等しいオッズ（EO）を74.5%低減したが、平均で1.7%以下の精度低下にとどまった。
• UTK Faceデータセットにおいて、提案フレームワークは最先端の手法と比較して平均で11.3%の公平性向上を達成し、競争力のある精度を維持した。
• ME-MFDのアブレーションにおいて、マルチエグジットフレームワークはEOを平均27%低減し、標準MFDと比較して精度を1%向上させた。
• 早期終了ポリシーはインスタンスごとに最適なエグジットを選択し、EOの平均27%の向上を達成し、高い精度を維持した。これにより、インスタンス固有のエグジット選択の有効性が示された。
• 提案フレームワークは、すべてのベースラインおよび最先端手法を上回り、CelebAおよびUTK Faceの両データセットにおいて、公平性と精度のトレードオフの観点で最高のパフォーマンスを達成した。
• アブレーションスタディにより、MMDベースの公平性正則化を適用しても、深層層では公平性が低下することが確認されたが、マルチエグジットフレームワークにより、すべてのエグジットポイントで公平性が保持された。