[論文レビュー] Distill and De-bias: Mitigating Bias in Face Verification using Knowledge Distillation

Prithviraj Dhar, Joshua Gleason+4 more|arXiv (Cornell University)|Dec 17, 2021

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、顔認識における性別および肌色のバイアスを低減するための、知識蒸留に基づく新規手法であるDistill and De-bias (D&D) および D&D++ を提案する。教師ネットワークをある属性カテゴリ（例：明るい肌色）で訓練し、その注意パターンを学生ネットワークに転送することで、D&D は異なる人種的背景のグループ間で一貫した空間的注意を強制し、IJB-C データセット上で敵対的ベースラインを上回る顔認証精度を達成しながら、顔認識におけるバイアスを顕著に低減する。

ABSTRACT

Face recognition networks generally demonstrate bias with respect to sensitive attributes like gender, skintone etc. For gender and skintone, we observe that the regions of the face that a network attends to vary by the category of an attribute. This might contribute to bias. Building on this intuition, we propose a novel distillation-based approach called Distill and De-bias (D&D) to enforce a network to attend to similar face regions, irrespective of the attribute category. In D&D, we train a teacher network on images from one category of an attribute; e.g. light skintone. Then distilling information from the teacher, we train a student network on images of the remaining category; e.g., dark skintone. A feature-level distillation loss constrains the student network to generate teacher-like representations. This allows the student network to attend to similar face regions for all attribute categories and enables it to reduce bias. We also propose a second distillation step on top of D&D, called D&D++. Here, we distill the `un-biasedness' of the D&D network into a new student network, the D&D++ network, while training this new network on all attribute categories; e.g., both light and dark skintones. This helps us train a network that is less biased for an attribute, while obtaining higher face verification performance than D&D. We show that D&D++ outperforms existing baselines in reducing gender and skintone bias on the IJB-C dataset, while obtaining higher face verification performance than existing adversarial de-biasing methods. We evaluate the effectiveness of our proposed methods on two state-of-the-art face recognition networks: ArcFace and Crystalface.

研究の動機と目的

• 性別や肌色などの感受性属性に関連する顔認識ネットワークのバイアスを是正すること。
• 異なる人種的背景における注意領域の違いがバイアスに寄与しているかどうかを調査すること。
• 属性カテゴリ間で一貫した注意を強制する非敵対的で知識蒸留に基づく手法を開発すること。
• 特に敵対的バイアス除去技術と比較して、バイアス低減と同時に顔認証性能を向上させること。
• ArcFace や Crystalface などの異なる顔認識モデルへの一般化を保証すること。

提案手法

• 感受性属性の一つのカテゴリ（例：明るい肌色）の画像で教師ネットワークを訓練し、代表的な注意パターンを学習する。
• 特徴レベルの知識蒸留を用いて、教師の注意パターンをもう一方のカテゴリ（例：濃い肌色）で訓練された学生ネットワークに転送し、学生が類似した顔領域に注目するように制約する。
• D&D++ を適用する際には、D&D ネットワークの「バイアスのない挙動」を、すべての属性カテゴリで訓練された新しい学生ネットワークに蒸留することで、公平性を維持しつつ性能を向上させる。
• GradCAM を用いて、D&D および D&D++ の適用後、人種的背景間で注意マップがより一貫的になることを可視化し検証する。
• ArcFace および Crystalface をバックボーンネットワークとして用い、IJB-C データセットで訓練および評価を行う。
• D&D および D&D++ を、敵対的バイアス除去手法（例：PASS, IVE）およびバランストレーニングベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 顔認識ネットワークの注目領域は、性別および肌色のカテゴリによって顕著に異なるものであり、それがバイアスに寄与しているか？
• RQ2 知識蒸留を用いて、人種的背景間で注意パターンを一致させることでバイアスを低減できるか？
• RQ3 二段階の蒸留プロセス（D&D に続く D&D++）は、同時にバイアス低減と顔認証精度の向上を達成できるか？
• RQ4 提案手法は、異なる顔認識モデルや感受性属性に一般化できるか？
• RQ5 D&D++ は、公平性および認証性能の観点で、敵対的バイアス除去手法と比較してどのように異なるか？

主な発見

• GradCAM の可視化により、D&D は ArcFace および Crystalface ネットワークにおける性別および肌色バイアスを、人種的背景間の注意マップを一致させることで低減していることが示された。
• D&D++ は、IJB-C データセット上で最先端の敵対的バイアス除去手法を上回る顔認証性能を達成しながら、低いバイアスを維持した。
• 敵対的トレーニングやバックボーンネットワークのアーキテクチャを変更することなく、バイアスを顕著に低減できた。
• 特徴レベルの蒸留は注意パターンの効果的な転送を可能にし、肌色や性別に関係なく顔の処理が一貫するようになった。
• 本手法は、異なる顔認識モデルおよび感受性属性（性別および肌色を含む）に一般化可能であり、効果を示した。
• D&D++ は、バランストレーニングベースラインおよび GAC や IVE などの他の非敵対的手法と比較して、公平性と精度のトレードオフにおいて優れた性能を示した。