[论文解读] Facial Expressions as a Vulnerability in Face Recognition

Alejandro Peña, Ignacio Serna+3 more|arXiv (Cornell University)|Nov 17, 2020

Face recognition and analysis参考文献 66被引用 5

一句话总结

本文識別出面部表情偏差是當代最先进的人臉識別系統中的一個關鍵弱點，表明像憤怒、厭惡和驚訝等表情的變化會導致真實匹配分數最高達40%的性能下降。透過使用三種深度學習模型和三個公開數據集，本研究揭示了訓練數據中系統性的表情不平衡現象，並顯示VGG-16等模型會產生強烈的自我學習情緒反應，從而削弱識別可靠性，並透過表情操控實現身份隱匿。

ABSTRACT

This work explores facial expression bias as a security vulnerability of face recognition systems. Despite the great performance achieved by state-of-the-art face recognition systems, the algorithms are still sensitive to a large range of covariates. We present a comprehensive analysis of how facial expression bias impacts the performance of face recognition technologies. Our study analyzes: i) facial expression biases in the most popular face recognition databases; and ii) the impact of facial expression in face recognition performances. Our experimental framework includes two face detectors, three face recognition models, and three different databases. Our results demonstrate a huge facial expression bias in the most widely used databases, as well as a related impact of face expression in the performance of state-of-the-art algorithms. This work opens the door to new research lines focused on mitigating the observed vulnerability.

研究动机与目标

• 調查廣泛使用的人臉識別數據集中的面部表情偏差程度。
• 分析面部表情變化對當代最先进的人臉識別模型性能的影響。
• 評估在真實匹配情境中，由表情引起的分數變異所帶來的安全影響。
• 識別透過表情操控實現身份隱匿的潛在可能性，作為一種新型攻擊向量。
• 主張未來在數據集和模型中應進行偏差緩解，以提升系統的魯棒性與公平性。

提出的方法

• 評估三種預訓練的人臉識別模型：VGG-16、ResNet-50 和 LResNet-100E-IR，使用其預設的特徵提取流程。
• 將匹配分數計算為來自 ResNet-50 的深度特徵嵌入之間的 L2 距離，並在 50 層網絡輸出上使用歐幾里得距離。
• 使用 MTCNN 和 RetinaFace 作為人臉檢測器，以確保跨數據集的一致輸入預處理。
• 透過量化 MS-Celeb-1M、MegaFace、CelebA 和 VGGFace2 等主要數據集中六種基本情緒（快樂、悲傷、憤怒、驚訝、厭惡、恐懼）的分佈，來分析表情偏差。
• 在 CFEE 和 CK+ 數據集上進行受控實驗，包含 350 位身份和 16,000 張影像，比較不同面部表情下的真實匹配分數。
• 透過使用 15,000 張 CelebA 影像作為背景資料集，進行 Rank-1 識別實驗，以評估不同表情下的性能變異。

实验结果

研究问题

• RQ1 廣泛使用的人臉識別數據集在其訓練數據中在多大程度上表現出面部表情偏差？
• RQ2 面部表情的變化如何影響當代最先进的人臉識別模型的真實匹配分數分佈？
• RQ3 是否可透過面部表情操控來隱匿身份而不觸發偽造者檢測？
• RQ4 在現實世界識別情境中，不同表情下的性能下降程度有多大？
• RQ5 不同的人臉識別模型（VGG-16、ResNet-50、LResNet-100E-IR）對由表情引起的匹配分數變異有何反應？

主要发现

• 最廣泛使用的人臉識別數據集，包括 MS-Celeb-1M 和 VGGFace2，表現出極大的面部表情不平衡，其中中性表情佔主導地位（60–85%），而厭惡和恐懼等表情則嚴重不足（<1%）。
• 面部表情偏差導致真實匹配分數在不同表情之間最高達 40% 的差異，其中 VGG-16 模型表現出最高的脆弱性。
• 厭惡表情在所有表情中表現最差，VGG-16 和 ResNet-50 中的 Rank-1 分數相比中性或快樂表情最高下降 50%。
• 即使在高性能模型如 LResNet-100E-IR 中，也觀察到可測量的性能下降（0–1%），表明偏差即使在先進架構中依然存在。
• 偽造者分數分佈幾乎不受表情影響，排除了透過改變表情進行偽裝攻擊的可能性，但確認了身份隱匿是一種可行威脅。
• 本研究確認，訓練於有偏差數據的模型會自我學習情緒反應，導致在不同表情下行為不一致，從而削弱系統的可靠性與安全性。