[論文レビュー] Learning Fair Face Representation With Progressive Cross Transformer

Yong Li, Yufei Sun+3 more|arXiv (Cornell University)|Aug 11, 2021

Face recognition and analysis参考文献 52被引用数 10

ひとこと要約

本論文は、段階的アプローチでアイデンティティ関連の顔特徴をレース由来のノイズから分離する、プログレッシブクロストランスフォーマー（PCT）を提案する。PCTは顔表現を一般化された関数的分解としてモデル化し、性能に悪影響を与えることなく、デモグラフィックバイアスを低減する。BFWおよびRFWベンチマークにおいて、最先端の顔認識精度と公平性を達成した。

ABSTRACT

Face recognition (FR) has made extraordinary progress owing to the advancement of deep convolutional neural networks. However, demographic bias among different racial cohorts still challenges the practical face recognition system. The race factor has been proven to be a dilemma for fair FR (FFR) as the subject-related specific attributes induce the classification bias whilst carrying some useful cues for FR. To mitigate racial bias and meantime preserve robust FR, we abstract face identity-related representation as a signal denoising problem and propose a progressive cross transformer (PCT) method for fair face recognition. Originating from the signal decomposition theory, we attempt to decouple face representation into i) identity-related components and ii) noisy/identity-unrelated components induced by race. As an extension of signal subspace decomposition, we formulate face decoupling as a generalized functional expression model to cross-predict face identity and race information. The face expression model is further concretized by designing dual cross-transformers to distill identity-related components and suppress racial noises. In order to refine face representation, we take a progressive face decoupling way to learn identity/race-specific transformations, so that identity-unrelated components induced by race could be better disentangled. We evaluate the proposed PCT on the public fair face recognition benchmarks (BFW, RFW) and verify that PCT is capable of mitigating bias in face recognition while achieving state-of-the-art FR performance. Besides, visualization results also show that the attention maps in PCT can well reveal the race-related/biased facial regions.

研究の動機と目的

• 顔認識におけるデモグラフィックバイアス、特に人種バイアスを是正すること。これは、高い認識精度にもかかわらず公平性を損なう要因である。
• 認識性能を損なうことなく、顔表現からアイデンティティ関連特徴とレース関連ノイズを分離すること。
• 顔表現を信号のノイズ除去問題としてモデル化し、人種がアイデンティティとは関係のないノイズ源として機能することを想定すること。
• 深層顔認識ネットワーク内の段階的クロスアテンションモジュールを段階的に適用し、人種バイアスを段階的に低減すること。
• アテンションマップが人種関連の顔領域を効果的に特定・抑制していることを可視化し、検証すること。

提案手法

• 顔表現をアイデンティティと人種情報の両方を相互に予測する一般化された関数的表現モデルとして定式化する。
• アイデンティティ関連の成分を抽出し、人種由来のノイズを抑制するためのデュアルクロスアテンション機構（クロスアテンションモジュール、CT）を導入する。
• プログレッシブクロストランスフォーマー（PCT）は、ネットワークの初期層から段階的にCTモジュールを適用することで、バイアスを段階的に低減する。
• パラメータ効率と性能のバランスを最適化するため、H=2のマルチヘッドクロスアテンションを採用する。
• エンドツーエンドで訓練し、アイデンティティ分類と人種予測の両方の損失関数を統合することで、分離を可能にする。
• アテンションマップの可視化により、モデルがどのように人種関連の顔領域を特定・抑制しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で学習可能なメカニズムを用いて、顔表現をアイデンティティ関連成分と人種由来ノイズ成分に効果的に分離できるか？
• RQ2 ネットワークの各段階に段階的にクロスアテンションモジュールを適用することで、単一段階または後段の適用と比較して、顔認識の公平性が向上するか？
• RQ3 トランスフォーマー基盤のアーキテクチャが、認識精度を維持または向上させながらもデモグラフィックバイアスを低減できるか？
• RQ4 アテンションマップが人種関連の顔領域をどの程度効果的に特定するか。これは、バイアス低減が成功している証左となる。
• RQ5 公平な顔表現学習において、モデル容量と一般化性能のバランスを最適化する最適なアテンションヘッド数は存在するか？

主な発見

• PCTは、BFWおよびRFWベンチマークで最先端の顔認識性能を達成するとともに、人種グループ間での性能ばらつきを顕著に低減した。
• H=2のクロスアテンションヘッドを用いることで、人種グループ間の認証精度の標準偏差がH=1のときと比較して半減した。
• CTモジュールを初期段階（例：ステージ1）に適用すると、後段階（例：ステージ4）に適用する場合よりも顕著なバイアス低減効果が得られた。これは、初期特徴レベルでのバイアスが最も影響を及ぼすことを示している。
• H=4のクロスアテンションヘッドを用いることで過学習が発生し、性能が低下した。これはH=2が容量と一般化性能の最良のトレードオフを提供していることを裏付けている。
• アテンションマップの可視化により、PCTが人種関連の顔領域（例：目、鼻、顔の質感）を学習し、深層部で段階的に抑制していることが確認された。
• CTモジュールの段階的適用により、CTモジュールを搭載しないベースラインモデルと比較して、デモグラフィックグループ間の精度標準偏差が30〜50％低減された。