[論文レビュー] Consistent Instance False Positive Improves Fairness in Face Recognition

Xingkun Xu, Yuge Huang+6 more|arXiv (Cornell University)|Jun 10, 2021

Face recognition and analysis参考文献 23被引用数 4

ひとこと要約

本稿では、人種、性別、年齢などの属性にわたる不均等な偽陽性率（FPR）を抑えることで、顔認識における公平性を向上させる、新たな損失関数を提案する。この手法は、性的・人種的属性のラベルを必要とせず、ソフトマックス損失における動的ペナルティ項を通じて個々のサンプルにおけるFPRの一貫性を強制することで、バイアスを低減する。RFWおよびBFWベンチマークにおいて、最先端の公平性性能を達成した。

ABSTRACT

Demographic bias is a significant challenge in practical face recognition systems. Existing methods heavily rely on accurate demographic annotations. However, such annotations are usually unavailable in real scenarios. Moreover, these methods are typically designed for a specific demographic group and are not general enough. In this paper, we propose a false positive rate penalty loss, which mitigates face recognition bias by increasing the consistency of instance False Positive Rate (FPR). Specifically, we first define the instance FPR as the ratio between the number of the non-target similarities above a unified threshold and the total number of the non-target similarities. The unified threshold is estimated for a given total FPR. Then, an additional penalty term, which is in proportion to the ratio of instance FPR overall FPR, is introduced into the denominator of the softmax-based loss. The larger the instance FPR, the larger the penalty. By such unequal penalties, the instance FPRs are supposed to be consistent. Compared with the previous debiasing methods, our method requires no demographic annotations. Thus, it can mitigate the bias among demographic groups divided by various attributes, and these attributes are not needed to be previously predefined during training. Extensive experimental results on popular benchmarks demonstrate the superiority of our method over state-of-the-art competitors. Code and trained models are available at https://github.com/Tencent/TFace.

研究の動機と目的

• 実世界の設定ではしばしば入手困難な人種的・性別的属性ラベルに依存せずに、顔認識における人種的バイアスを是正すること。
• 個々のインスタンスレベルでの偽陽性率（FPR）の一貫性を促進することで、人種、性別、年齢などの多様な属性にわたる公平性を向上させること。
• 事前に定義された人種的グループや特定の属性に限定されない、一般化可能なバイアス除去手法の開発。
• 標準的なソフトマックスベースの顔認識損失と互換性があるプラグイン型のソリューションを提供し、再訓練やアーキテクチャ変更なしに公平性を向上させること。

提案手法

• 本稿では、インスタンスFPRと全体FPRの比に比例するペナルティ項を組み込んだ新たな損失関数を導入する。
• インスタンスFPRは、あるサンプルについて、統一されたしきい値を超える非ターゲット類似度の数を、非ターゲット類似度の総数で割ったものとして定義される。
• 統一されたしきい値は、全体のFPRを所定の目標値に保つように決定され、データセット全体で一貫性が保たれる。
• ペナルティ項はソフトマックスベースの損失の分母に追加され、インスタンスFPRが大きいサンプルほど損失が増加するようになり、結果としてFPRの一貫性が促進される。
• 本手法は標準的な顔認識フレームワークを用いてエンドツーエンドで訓練され、追加の教師信号や属性ラベルの付与は不要である。
• 本アプローチは人種に特化したバイアスにとどまらず、入力データに基づいて定義される任意の属性グループに対しても公平性の向上を実現できる。

実験結果

リサーチクエスチョン

• RQ1 人種的属性ラベルが存在しない状況でも、インスタンスレベルでのFPR一貫性を活用することで、顔認識における人種的バイアスを低減できるか？
• RQ2 個々のサンプルにわたるFPR一貫性の強制は、グループレベルの公平性制約と比較して、バイアス低減にどの程度効果的か？
• RQ3 不均等なFPRにペナルティを課す損失関数は、人種、性別、年齢といった複数の属性に同時に公平性を向上させることができるか？
• RQ4 本手法は、標準ベンチマークにおける認識精度を維持または向上させながら、どの程度公平性を向上させることができるか？

主な発見

• RFWベンチマークでは、平均正答率96.56%（標準偏差0.75）を達成し、平均正答率と公平性の両面で最先端の手法を上回った。
• RFWにおいて全体FPRが10^-5のとき、バイアス度は257.53に低下し、最先端のRL-RBN手法（351.98）よりも顕著に低く、公平性の向上が裏付けられた。
• BFWベンチマークでは、全体FPRが10^-7のとき、バイアス度は1.18に低下し、最先端のRL-RBN手法（2.44）よりも顕著に低く、人種および性別バイアスの両方を効果的に緩和した。
• アフリカ系、アジア系、白人系、インド系の4つの人種グループにおいて、同時に正答率が向上し、SOTA手法比で平均正答率が最大0.77%向上した。
• ResNet-100を用いた場合、RFWでは平均正答率97.45%、標準偏差0.85を達成し、深層アーキテクチャでも優れた性能を示した。
• RFWおよびBFWの両ベンチマークにおいて、すべての属性グループでFPRおよびTPRが一貫して向上し、本手法の多様な属性への一般化能力が確認された。