[論文レビュー] Asymmetric Rejection Loss for Fairer Face Recognition

Haoyu Qin|arXiv (Cornell University)|Feb 9, 2020

Face recognition and analysis参考文献 31被引用数 4

ひとこと要約

本稿では、顔認識における人種的バイアスを低減するために、不足している人種的少数派の未ラベル画像を活用する半教師あり手法である非対称拒否損失（ARL）を提案する。各未ラベル画像を固有のクラスとして扱い、コサインペナルティを用いた非対称な対照的損失関数にラベル付きデータと未ラベル付きデータを組み合わせることで、アフリカ系、アジア系、インド系のグループにおける性能を向上させつつ、白人系の精度を損なわず、RFWおよびMS_wo_RFWベンチマークで最先端の公平性向上を達成する。

ABSTRACT

Face recognition performance has seen a tremendous gain in recent years, mostly due to the availability of large-scale face images dataset that can be exploited by deep neural networks to learn powerful face representations. However, recent research has shown differences in face recognition performance across different ethnic groups mostly due to the racial imbalance in the training datasets where Caucasian identities largely dominate other ethnicities. This is actually symptomatic of the under-representation of non-Caucasian ethnic groups in the celebdom from which face datasets are usually gathered, rendering the acquisition of labeled data of the under-represented groups challenging. In this paper, we propose an Asymmetric Rejection Loss, which aims at making full use of unlabeled images of those under-represented groups, to reduce the racial bias of face recognition models. We view each unlabeled image as a unique class, however as we cannot guarantee that two unlabeled samples are from a distinct class we exploit both labeled and unlabeled data in an asymmetric manner in our loss formalism. Extensive experiments show our method's strength in mitigating racial bias, outperforming state-of-the-art semi-supervision methods. Performance on the under-represented ethnicity groups increases while that on the well-represented group is nearly unchanged.

研究の動機と目的

• トレーニングデータセットにおける非白人系人種の不足による顔認識モデルの人種的バイアスを是正すること。
• アイデンティティラベルが不要な状態で、未ラベルの少数派人種グループからの画像を効果的に活用できる半教師あり手法を開発すること。
• 少数派人種グループの性能を向上させつつ、代表的グループの性能を維持またはわずかに低下させるように、顔認識の妥当性を向上させること。
• 未ラベルデータにおける性別不均衡の影響を調査し、性別にバランスの取れたサンプリング戦略を提案してバイアスをさらに軽減すること。

提案手法

• 各未ラベル画像を固有のクラスとして扱い、ラベル付きクラスと非対称に組み合わせた対照的損失関数に統合する非対称拒否損失（ARL）を提案する。
• コサイン類似度に基づくペナルティを用いて、真のラベルがなくても異なる人種の未ラベル画像を区別できるようにモデルを促進する。
• K個の異なる人種タグが付与されたK個の未ラベル画像を負例サンプルとして扱うKベースの戦略を導入し、人種間の識別を向上させる。
• ミニバッチ内での安全な未ラベル画像ペアにコサインペナルティを適用し、特徴の分離とモデルの汎化能力を向上させる。
• 予測された性別スコアに基づいてフィルタリングと選択を施すことで、未ラベルデータの性別にバランスの取れたサンプリング戦略を導入する。
• Arcfaceをベース損失として用い、ARLとコサインペナルティを統合的な最適化フレームワークでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 不足している人種的少数派からの未ラベル画像を、顔認識モデルにおける人種的バイアス低減に効果的に活用できるか？
• RQ2 損失関数内でラベル付きデータと未ラベル付きデータを非対称に扱うことで、対称的またはクラスタリングベースのアプローチと比較して、より優れた公平性が得られるか？
• RQ3 未ラベル画像ペアにコサインペナルティを適用することで、人種的少数派にわたるモデルの汎化能力が向上し、バイアスが低減されるか？
• RQ4 未ラベルデータにおける性別不均衡がモデルの公平性に及ぼす影響はどの程度か？また、バランスの取れたサンプリング戦略はその影響を軽減できるか？

主な発見

• RFWベンチマークでは、ARLによりアフリカ系、アジア系、インド系グループの検証精度が最大5.5ポイント向上したが、白人系の精度はほぼ変化がなかった。
• ARL+C（コサインペナルティ付き）は、RFWの困難なペアで87.36％の平均精度を達成し、ベースラインの85.64％から向上した。標準偏差が3.05に低下したことで、公平性の向上が裏付けられた。
• MS_wo_RFWでは、ARL+Cにより平均精度がベースラインの93.51％から94.20％に上昇し、標準偏差が2.69から2.38に低下した。性能差の低減が確認された。
• コサインペナルティ戦略により、少数派グループの性能が向上したが、未ラベルデータにおける性別不均衡は結果に悪影響を及ぼす可能性があり、特にアジア系女性において顕著であった。
• 未ラベル画像の性別にバランスの取れたサンプリングにより、アジア系グループの性能が明確に向上した。特に厳格なFPR閾値下でも顕著で、データ内の性別バイアスの影響が裏付けられた。
• 各被験者が未ラベルセットに1枚の画像しか持たない場合でも、本手法は有効であり、クラスタリングの悪化やノイズの多いグループ化の問題を回避できた。