[論文レビュー] Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition

Prithviraj Dhar, Joshua Gleason+3 more|arXiv (Cornell University)|Jun 14, 2020

Face recognition and analysis参考文献 37被引用数 7

ひとこと要約

本稿では、事前学習済み顔特徴量に埋め込まれた性別情報の低減を目的として、プライバシー漏洩および顔認識における性別バイアスを軽減する敵対的デバイアス化フレームワーク、AGENDAを提案する。識別子を保持しつつ性別予測可能性を最小化するようにネットワークを敵対的に訓練することで、AGENDAは、10⁻⁶ FPRにおけるバイアスが50%低減されるなど、顔認識の検証における性別バイアスを顕著に低減するが、精度はわずかに低下する。この手法は、学習データの構成に依存しないスケーラブルな事後処理ソリューションを提供する。

ABSTRACT

State-of-the-art deep networks implicitly encode gender information while being trained for face recognition. Gender is often viewed as an important attribute with respect to identifying faces. However, the implicit encoding of gender information in face descriptors has two major issues: (a.) It makes the descriptors susceptible to privacy leakage, i.e. a malicious agent can be trained to predict the face gender from such descriptors. (b.) It appears to contribute to gender bias in face recognition, i.e. we find a significant difference in the recognition accuracy of DCNNs on male and female faces. Therefore, we present a novel `Adversarial Gender De-biasing algorithm (AGENDA)' to reduce the gender information present in face descriptors obtained from previously trained face recognition networks. We show that AGENDA significantly reduces gender predictability of face descriptors. Consequently, we are also able to reduce gender bias in face verification while maintaining reasonable recognition performance.

研究の動機と目的

• 事前学習済み顔特徴量に埋め込まれた性別情報によるプライバシー漏洩を是正すること。
• 学習データの構成を変更せずに顔検証における性別バイアスを低減すること。
• 性別バランスの取れた学習データに依存しない、事後処理可能でスケーラブルな手法を開発すること。
• 顔特徴量における性別予測可能性と検証バイアスの関係を評価すること。
• 特徴量における性別情報の低減が、より公平な検証性能をもたらすことを実証すること。

提案手法

• AGENDAは、事前学習済み顔特徴量を入力として受け取り、性別に依存しない表現を学習する敵対的オートエンコーダである。
• モデルは二重ストリームアーキテクチャを採用している：一方のストリームは識別子を分類（教師あり）、もう一方は性別を予測（敵対的）。
• 訓練中、識別子ヘッドは精度向上に向けて最適化され、性別ヘッドは誤りとなるように最適化され、これにより特徴量が性別情報を失うように強制される。
• 損失関数は識別子分類損失と敵対的損失を組み合わせ、性別予測可能性を最小化しつつ、識別能を維持する。
• 訓練後、AGENDAは元の特徴量を性別デバイアス化された表現に変換し、下流の検証タスクで利用可能になる。
• 本手法は、IJB-Cを用いてArcFaceおよびCrystalFace特徴量で評価され、TPEおよびPCAベースラインを用いたアブレーションも実施された。

実験結果

リサーチクエスチョン

• RQ1 顔特徴量における性別予測可能性の低減は、顔検証における性別バイアスの低減に繋がるか？
• RQ2 再訓練を伴わずに、敵対的フレームワークが顔特徴量のデバイアス化を効果的に実現できるか？
• RQ3 PCAベースラインと比較して、AGENDAの性別バイアス低減性能はどの程度か？
• RQ4 デバイアス化された特徴量を用いる際、性別バイアス低減と検証精度のトレードオフはどのようなものか？
• RQ5 三重項確率的埋め込み（TPE）を用いることで、デバイアス化された特徴量における性別バイアスは増幅されるか、それとも軽減されるか？

主な発見

• AGENDAは顔特徴量における性別予測可能性を顕著に低減し、元の特徴量と比較して性別分類精度が50%低くなった。
• 10⁻⁶の偽陽性率（FPR）において、AGENDAは検証における性別バイアスを元の0.11から0.06にまで低減し、顕著な公平性の向上を示した。
• 特に低FPR領域において、CorrPCAベースラインよりもバイアス低減性能が優れており、バイアスが最も深刻な状況で顕著な改善が得られた。
• AGENDA変換後も検証精度はわずかに低下するが、依然として高い水準を維持している（例：10⁻⁶ FPRにおける男性の真陽性率は0.57）。
• AGENDA変換後にTPEを適用することで、元の特徴量にTPEを適用した場合と比較してバイアスがさらに低減され、下流処理と高い互換性があることが示された。
• CrystalFace特徴量の上位256個の固有ベクトルは、ArcFaceと比較してより高い性別相関を示しており、一部のモデルでは性別と識別子のエンタングルメントが顕著であることが判明した。