[論文レビュー] Fair SA: Sensitivity Analysis for Fairness in Face Recognition

Aparna Joshi, Xavier Suau+3 more|arXiv (Cornell University)|Feb 8, 2022

Face Recognition and Perception被引用数 4

ひとこと要約

本稿では、視覚的心理物理学感受性分析（VPSA）を拡張し、画像の摂動下における顔認識モデルのグループ公平性を評価する新規フレームワーク Fair SA を提案する。運動ブラー、露出、JPEG 圧縮などの段階的劣化において、モデルの頑健性とサブグループごとのバイアスを測定することで、高精度なモデルでも現実の歪み下では隠れた不平等が生じることを明らかにした。特に、VGGFace2 は高い頑健性を示すが、高レベルの摂動下では最も公平性が低いことが判明した。

ABSTRACT

As the use of deep learning in high impact domains becomes ubiquitous, it is increasingly important to assess the resilience of models. One such high impact domain is that of face recognition, with real world applications involving images affected by various degradations, such as motion blur or high exposure. Moreover, images captured across different attributes, such as gender and race, can also challenge the robustness of a face recognition algorithm. While traditional summary statistics suggest that the aggregate performance of face recognition models has continued to improve, these metrics do not directly measure the robustness or fairness of the models. Visual Psychophysics Sensitivity Analysis (VPSA) [1] provides a way to pinpoint the individual causes of failure by way of introducing incremental perturbations in the data. However, perturbations may affect subgroups differently. In this paper, we propose a new fairness evaluation based on robustness in the form of a generic framework that extends VPSA. With this framework, we can analyze the ability of a model to perform fairly for different subgroups of a population affected by perturbations, and pinpoint the exact failure modes for a subgroup by measuring targeted robustness. With the increasing focus on the fairness of models, we use face recognition as an example application of our framework and propose to compactly visualize the fairness analysis of a model via AUC matrices. We analyze the performance of common face recognition models and empirically show that certain subgroups are at a disadvantage when images are perturbed, thereby uncovering trends that were not visible using the model's performance on subgroups without perturbations.

研究の動機と目的

• 運動ブラー、露出、ノイズなどの現実の画像劣化が生じる状況下における顔認識モデルの公平性評価のギャップを埋める。
• 従来の要約統計量を越えて、モデルの頑健性とサブグループ公平性を同時に測定するフレームワークを開発する。
• AUC マトリクスを用いて摂動下でのサブグループ特有のバイアスを可視化し、モデルの公平性に関する実行可能なインサイトを提供する。
• 特定の文化的・身体的特徴（例：若年層、男性、薄い肌）のサブグループが摂動下で系統的に有利または不利に扱われる失敗モードを特定する。

提案手法

• 保護属性（例：性別、人種、顔貌特徴）ごとにモデル性能を測定するサブグループ認識摂動分析を導入し、VPSA を拡張する。
• テスト画像に、運動ブラー、彩度シフト、露出変化、JPEG 圧縮などの制御された摂動を適用する。
• 各サブグループのモデル性能（例：認証正答率）を摂動レベルに対してプロットした Fair SA カーブを計算し、バイアスのトレンドを可視化する。
• 複数の属性と摂動タイプをカバーする AUC マトリクスを用いて公平性をコンactに表現し、各モデルごとの総合的公平性を L1 ノルムで要約する。
• AUC マトリクスの行および列方向のマージナライゼーションを実施し、公平性に最も影響を与える属性および摂動を同定する。
• 自己マッチングと認証タスクを用いて、それぞれアイデンティティに依存しないおよびアイデンティティに依存する状況下での公平性を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般的な顔認識モデルは、顔貌サブグループごとの公平性を評価する際、段階的画像摂動下でどのように性能を示すか？
• RQ2 どの顔貌サブグループが特定の画像劣化タイプによって系統的に有利または不利に扱われるか？
• RQ3 VPSA で測定されたモデルの頑健性と、摂動下での公平性の相関関係はどの程度か？
• RQ4 摂動下での公平性を効果的に可視化および要約する方法は何か？モデル評価およびデバッグに役立てる。
• RQ5 Fair SA は、標準的な正答率指標では検出できないが、現実の画像劣化下で顕在化する隠れたバイアスを検出できるか？

主な発見

• クリーンなベンチマークで 99% の正答率を示すモデルでさえ、摂動下では顕著なサブグループバイアスを示す。例えば、運動ブラー下では若年層が優遇される傾向がある。
• VGGFace2 は VPSA において最も頑健であるが、高レベルの摂動下では最も公平性が低いモデルであり、露出変化や彩度シフト下で男性および薄い肌のサブグループに顕著な不利が生じる。
• FaceNet は運動ブラー下で非単調な公平性トレンドを示し、初期にはバイアスが増加し、その後減少する傾向を示す。これは高ブラーレベルでの性能低下に起因すると考えられる。
• 顕著な顔貌特徴（例：はっきりしたしわやヒゲ）を持つサブグループに、顔貌の顕著性を損なう摂動（例：ブラー、圧縮）が最も強く影響を与える。
• スペックルノイズ、運動ブラー、彩度シフトは、AUC マトリクスにおける高い列方向 L1 ノルムから、全モデルに対して最も深刻な公平性への影響を与える摂動であることが示された。
• AUC マトリクスは、標準的な正答率指標では検出できない隠れた公平性トレンドを効果的に明らかにする。例えば、高露出下で黒髪のサブグループが優遇され、JPEG 圧縮下で濃いメイクのサブグループにバイアスが生じる傾向がある。