[論文レビュー] Facial Expressions as a Vulnerability in Face Recognition

Alejandro Peña, Ignacio Serna+3 more|arXiv (Cornell University)|Nov 17, 2020

Face recognition and analysis参考文献 66被引用数 5

ひとこと要約

本論文は、最先端の顔認識システムにおける顔の表情バイアスを、深刻な脆弱性として特定し、怒り、嫌悪、驚きなどの表情の変化が、真正一致スコアにおいて最大40％の性能低下を引き起こすことを実証している。3つのディープラーニングモデルと3つの公開データベースを用いた研究により、トレーニングデータにおける顔の表情の系統的不均衡が明らかになり、VGG-16のようなモデルが強い自己学習された感情反応を示すことが判明。これは認識の信頼性を損なうものであり、表情操作による本人の特定の難易度上昇を可能にする。

ABSTRACT

This work explores facial expression bias as a security vulnerability of face recognition systems. Despite the great performance achieved by state-of-the-art face recognition systems, the algorithms are still sensitive to a large range of covariates. We present a comprehensive analysis of how facial expression bias impacts the performance of face recognition technologies. Our study analyzes: i) facial expression biases in the most popular face recognition databases; and ii) the impact of facial expression in face recognition performances. Our experimental framework includes two face detectors, three face recognition models, and three different databases. Our results demonstrate a huge facial expression bias in the most widely used databases, as well as a related impact of face expression in the performance of state-of-the-art algorithms. This work opens the door to new research lines focused on mitigating the observed vulnerability.

研究の動機と目的

• 広く使われている顔認識データベースにおける顔の表情バイアスの程度を調査すること。
• 顔の表情の変化が、最先端の顔認識モデルの性能に与える影響を分析すること。
• 真正一致シナリオにおける表情由来のスコア変動のセキュリティ的影響を評価すること。
• 表情操作による本人の特定の難易度上昇が新たな攻撃ベクトルとしての可能性を同定すること。
• 今後のデータベースおよびモデルにおけるバイアス低減を提言し、耐性と公平性の向上を図ること。

提案手法

• VGG-16、ResNet-50、LResNet-100E-IRの3つの事前学習済み顔認識モデルを、それぞれのデフォルトの特徴抽出パイプラインを用いて評価した。
• ResNet-50の深層特徴埋め込み間のL2距離を一致スコアとして計算し、50層ネットワーク出力のユークリッド距離を用いた。
• MTCNNとRetinaFaceを顔検出器として用い、データセット間で一貫した入力前処理を確保した。
• MS-Celeb-1M、MegaFace、CelebA、VGGFace2を含む主なデータベースにおける6つの基本的感情（喜び、悲しみ、怒り、驚き、嫌悪、恐怖）の分布を定量化することで、表情バイアスを分析した。
• CFEEおよびCK+データセットを用いた制御実験では、350人の被験者と16,000枚の画像を対象に、顔の表情ごとの真正一致スコアを比較した。
• 15,000枚のCelebA画像をバックグラウンドセットとして用い、ランク1識別実験を実施し、表情による性能変動を評価した。

実験結果

リサーチクエスチョン

• RQ1 一般的に使われている顔認識データベースのトレーニングデータにおいて、顔の表情バイアスはどの程度顕在化しているか？
• RQ2 顔の表情の変化が、最先端の顔認識モデルの真正一致スコア分布にどのように影響するか？
• RQ3 表情の操作を用いて本人の特定を難しくする（偽者検出をトリガーとしない）ことは可能か？
• RQ4 実世界の識別シナリオにおいて、異なる表情による性能低下の規模はどの程度か？
• RQ5 VGG-16、ResNet-50、LResNet-100E-IRといった異なる顔認識モデルは、表情由来のスコア変動に対してどのように反応するか？

主な発見

• MS-Celeb-1M や VGGFace2 を含む、最も広く使われている顔認識データベースでは、顔の表情に著しい不均衡が認められ、中立の表情が60–85％を占め、嫌悪や恐怖といった表情は1％未満にまで不足している。
• 顔の表情バイアスにより、異なる表情間で真正一致スコアに最大40％の変動が生じ、特にVGG-16モデルが最も脆弱であることが判明した。
• 嫌悪の表情は一貫して最も悪い識別性能を示し、VGG-16およびResNet-50において、中立または喜びの表情と比較してランク1スコアが最大50％低下した。
• 高い性能を示すモデルであるLResNet-100E-IRですら、表情によって0–1％の顕著な性能低下を示しており、バイアスが高度なアーキテクチャでさえも残存することを示している。
• 偽者スコアの分布は表情の変化にほとんど影響を受けず、表情の変更による模造攻撃は排除されたが、本人の特定の難易度上昇が有効な脅威であることが確認された。
• 本研究は、バイアスのあるデータで学習されたモデルが感情反応を自己学習し、表情によって一貫性のない挙動を示すことが判明。これは、システムの信頼性とセキュリティを損なう要因となっている。