[論文レビュー] Mitigating Gender Bias in Face Recognition Using the von Mises-Fisher Mixture Model

Jean-Rémy Conti, Nathan Noiry+3 more|arXiv (Cornell University)|Oct 24, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、性別に偏った顔認識モデルのバイアスを軽減するための後処理手法「エーティカルモジュール」を提案する。この手法は、公平なvon Mises-Fisher混合モデルを用い、深層埋め込みの性別特化型分散ハイパーパrameterを調整するための浅いニューラルネットワークを訓練することで、ArcFace、AdaCos、CosFace、CurricularFaceなど複数のモデルにおいて、FAR=10⁻⁴の条件下で同時に最高の公平性向上を達成した。BFARおよびBFRR指標の両方を顕著に低減した。

ABSTRACT

In spite of the high performance and reliability of deep learning algorithms in a wide range of everyday applications, many investigations tend to show that a lot of models exhibit biases, discriminating against specific subgroups of the population (e.g. gender, ethnicity). This urges the practitioner to develop fair systems with a uniform/comparable performance across sensitive groups. In this work, we investigate the gender bias of deep Face Recognition networks. In order to measure this bias, we introduce two new metrics, $\mathrm{BFAR}$ and $\mathrm{BFRR}$, that better reflect the inherent deployment needs of Face Recognition systems. Motivated by geometric considerations, we mitigate gender bias through a new post-processing methodology which transforms the deep embeddings of a pre-trained model to give more representation power to discriminated subgroups. It consists in training a shallow neural network by minimizing a Fair von Mises-Fisher loss whose hyperparameters account for the intra-class variance of each gender. Interestingly, we empirically observe that these hyperparameters are correlated with our fairness metrics. In fact, extensive numerical experiments on a variety of datasets show that a careful selection significantly reduces gender bias. The code used for the experiments can be found at https://github.com/JRConti/EthicalModule_vMF.

研究の動機と目的

• 最先端の顔認識モデルに見られる、男性と女性の間で偽陽性率と偽陰性率の差が顕著であるという性別バイアスを是正すること。
• 実運用環境における制約、特にセキュリティ要件と性別間の均等なパフォーマンスを反映する公平性指標（BFARおよびBFRR）を構築すること。
• 再訓練を伴わず、高い精度を維持したまま、事前学習済みモデルのバイアスを是正する後処理ソリューションを設計すること。
• 深層顔埋め込みの超球上における幾何的構造を活用し、性別によるクラス内分散の差をモデル化すること。
• 複数の事前学習済みモデル（ArcFace、AdaCos、CosFace、CurricularFace）およびデータセットを用いて、本手法の有効性と一般化性能を検証すること。

提案手法

• クラス内分散に性別特化型ハイパーパrameterを組み込んだ、新たな公平なvon Mises-Fisher損失を提案。これにより、サブグループ特化型の埋め込み分布に適応できる。
• 固定された事前学習済み顔認識モデルの上に、性別に配慮した分散パラメータに基づいて埋め込みを再重み付けする浅いマルチレイヤーパーセプトロン（エーティカルモジュール）を訓練する。
• 最大尤度推定を用いてエーティカルモジュールを訓練し、深層埋め込みを超球上でのvon Mises-Fisher分布の混合モデルとしてモデル化する公平なvon Mises-Fisher損失を最小化する。
• エーティカルモジュールの3つのバリエーションを採用：EM-FAR（BFAR最適化）、EM-FRR（BFRR最適化）、EM-C（両方の公平性指標を同時に最適化）。性能と公平性のバランスを図る。
• セキュリティ要件を満たすために、固定された偽陽性率（FAR）レベルでモデルをキャリブレーションし、公平性の乖離を測定する。
• LFWおよびMS1MV3データセットを用い、複数の事前学習済みモデルを比較し、さまざまなFAR閾値における公平性と精度を検証する。

実験結果

リサーチクエスチョン

• RQ1 従来の公平性定義と比較して、BFARおよびBFRRという新たな公平性指標が、実運用における顔認識システムの運用ニーズをより適切に反映できるか。
• RQ2 再訓練を伴わず、後処理によって事前学習済み顔認識モデルの性別バイアスをどの程度軽減できるか。
• RQ3 超球上でのvon Mises-Fisher混合モデルを用いて、性別によるクラス内分散の差をモデル化することで、埋め込み空間における公平性がどのように向上するか。
• RQ4 1つの後処理モジュールが、多様な事前学習済みモデルにおいて、同時にBFARおよびBFRRの乖離を低減できるか。
• RQ5 本手法は、事前学習システムで使用されるバックボーンモデルや損失関数の変更に対しても、頑健であるか。

主な発見

• FAR=10⁻⁴の条件下で、EM-Cバージョンのエーティカルモジュールが、BFARおよびBFRRの両方を同時に最も効果的に低減した。EM-Cは元のArcFaceモデルよりも公平性が向上したが、競争力ある精度を維持した。
• FAR=10⁻⁴の条件下で、EM-CはAdaCosにおいてBFRRを7.28から4.51、BFARを1.08から1.57に低減し、元のモデルおよびPASS-gベースラインを上回った。
• MobileFaceNetをバックボーンとするCosFaceでは、EM-CがBFRRを8.18から2.71、BFARを1.74から1.13に低減し、顕著な公平性の向上を達成したが、精度の損失は顕著ではなかった。
• EM-FARバージョンは、すべてのモデルにおいてFAR=10⁻³で最低のBFAR（1.01）を達成し、偽陽性率の乖離低減の有効性を示した。
• FAR=10⁻⁴の条件下で、AdaCosにおいてEM-FRRバージョンが最高のBFRR（2.71）を達成し、偽陰性率バイアスの強力な是正を示した。
• 本手法は、ArcFace、AdaCos、CosFace、CurricularFaceといった複数の事前学習済みモデルおよび、ResNet50、MobileFaceNetといったバックボーンに対して一般化可能であり、頑健性と転送性を実証した。