[論文レビュー] Racial Faces in-the-Wild: Reducing Racial Bias by Information Maximization Adaptation Network

Mei Wang, Weihong Deng+3 more|arXiv (Cornell University)|Dec 1, 2018

Face recognition and analysis参考文献 70被引用数 32

ひとこと要約

本稿では、新たな相互情報損失を用いて、グローバルなドメイン分布の整合化とクラスターレベルの判別的表現の強化を図ることで、人種的バイアスを低減する深層非教師付きドメイン適応ネットワークであるIMANを提案する。新たに導入されたRacial Faces in-the-Wild（RFW）データセット上で評価された結果、IMANは人種を問わず顔認識の精度を著しく向上させ、特にアフリカ系とアジア系の顔において、商業APIやSOTAモデルを最大12%上回った。

ABSTRACT

Racial bias is an important issue in biometric, but has not been thoroughly studied in deep face recognition. In this paper, we first contribute a dedicated dataset called Racial Faces in-the-Wild (RFW) database, on which we firmly validated the racial bias of four commercial APIs and four state-of-the-art (SOTA) algorithms. Then, we further present the solution using deep unsupervised domain adaptation and propose a deep information maximization adaptation network (IMAN) to alleviate this bias by using Caucasian as source domain and other races as target domains. This unsupervised method simultaneously aligns global distribution to decrease race gap at domain-level, and learns the discriminative target representations at cluster level. A novel mutual information loss is proposed to further enhance the discriminative ability of network output without label information. Extensive experiments on RFW, GBU, and IJB-A databases show that IMAN successfully learns features that generalize well across different races and across different databases.

研究の動機と目的

• 深層顔認識における人種的バイアスを測定する公平なベンチマークを確立すること。
• 商業APIおよびSOTAディープラーニングモデルにおける人種的バイアスの存在とその根本的要因を実証的に検証すること。
• 標本化されたターゲットデータを必要とせずに、人種的バイアスを緩和するドメイン適応フレームワークを開発すること。
• 非教師付きの方法でドメイン分布の整合化と判別的特徴学習の強化を図ることにより、クロスレース一般化を向上させること。

提案手法

• 人種ごに6,000組の難易度の高いペアを含む、4つの人種（白人、インド系、アジア系、アフリカ系）を対象とした、Racial Faces in-the-Wild（RFW）データセットを提案し、人種的バイアスの公平な評価を可能にする。
• 白人顔をソースドメインとし、他の人種をターゲットドメインとして、非教師付きドメイン適応を実施する。
• 事前適応段階で疑似ラベルを生成するためにスペクトルクラスタリングを用い、被覆されないアイデンティティでも分類器の学習を可能にする。
• 疑似ラベルの品質に依存せず、すべてのラベルなしターゲットデータを活用して判別力を向上させる、新しい相互情報（MI）損失を導入する。
• グローバルなドメイン整合化のための最大平均差分（MMD）と、クラスターレベルの判別的学習のためのMIベースの損失を組み合わせる。
• Arcfaceをベースの分類損失とし、非教師付きの方法でネットワークをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 深層顔認識は、商業APIおよびSOTAモデルにおいて顕著な人種的バイアスを示すか？
• RQ2 トレーニングデータのアンバランスとアルゴリズム設計の両方が、顔認識における人種的バイアスにどの程度寄与しているか？
• RQ3 ソースドメインとターゲットドメインに被覆されないアイデンティティがある状況でも、非教師付きドメイン適応が人種的バイアスを効果的に低減できるか？
• RQ4 ターゲットラベルが存在しない状況で、相互情報最大化は特徴の判別性をどのように向上させるか？
• RQ5 提案されたIMANフレームワークは、人種バイアスにとどまらず、ポーズ、照明、画像品質の変動などの他のドメインギャップに対しても一般化可能か？

主な発見

• RFWデータセットにおいて、商業APIおよびSOTAモデルは、アフリカ系顔に対して白人顔と比較して最大14.5%の精度低下を示し、顕著な人種的バイアスが確認された。
• IMANは、インド系で平均93.55%、アジア系で89.87%、アフリカ系で88.88%の平均検証精度を達成し、最良のベースラインを平均2.5%以上上回った。
• アブレーションスタディの結果、疑似ラベルとMI損失の両方が不可欠であることが確認された。両方の要素を削除すると、平均で2.3%以上の性能低下が生じた。
• t-SNE可視化とMMDスコア分析の両方から、IMANはArcfaceと比較してドメイン差を40%低減した。
• GBUデータセットでは、FAR 0.001における検証率が98.88%に達し、SOTA手法を2.88%上回った。
• IJB-Aでは、ランク1識別精度が94.05%に達し、前回のSOTAを3.37%上回った。