[논문 리뷰] Adversarial Relighting Against Face Recognition

Qian Zhang, Qing Gao외 4명|arXiv (Cornell University)|2021. 08. 18.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 5

한 줄 요약

이 논문은 딥 페이스 레인지 시스템에 대한 새로운 공격 벡터로 악성 조명 조작(Adversarial Relighting)을 제안하며, 최신의 FR 모델을 속이는 현실적인 악성 조명 조건을 생성하기 위해 AQ-ARA와 AP-ARA를 제안한다. 또한 정밀한 조명 장치를 활용해 물리 세계로의 구현을 가능하게 하는 Phy-ARA를 통해, FaceNet에서 코사인 유사도가 0.71에서 0.31로 59% 감소하는 것을 입증하여 실제 조명 조건에서의 심각한 취약성을 드러낸다.

ABSTRACT

Deep face recognition (FR) has achieved significantly high accuracy on several challenging datasets and fosters successful real-world applications, even showing high robustness to the illumination variation that is usually regarded as a main threat to the FR system. However, in the real world, illumination variation caused by diverse lighting conditions cannot be fully covered by the limited face dataset. In this paper, we study the threat of lighting against FR from a new angle, i.e., adversarial attack, and identify a new task, i.e., adversarial relighting. Given a face image, adversarial relighting aims to produce a naturally relighted counterpart while fooling the state-of-the-art deep FR methods. To this end, we first propose the physical modelbased adversarial relighting attack (ARA) denoted as albedoquotient-based adversarial relighting attack (AQ-ARA). It generates natural adversarial light under the physical lighting model and guidance of FR systems and synthesizes adversarially relighted face images. Moreover, we propose the auto-predictive adversarial relighting attack (AP-ARA) by training an adversarial relighting network (ARNet) to automatically predict the adversarial light in a one-step manner according to different input faces, allowing efficiency-sensitive applications. More importantly, we propose to transfer the above digital attacks to physical ARA (PhyARA) through a precise relighting device, making the estimated adversarial lighting condition reproducible in the real world. We validate our methods on three state-of-the-art deep FR methods, i.e., FaceNet, ArcFace, and CosFace, on two public datasets. The extensive and insightful results demonstrate our work can generate realistic adversarial relighted face images fooling face recognition tasks easily, revealing the threat of specific light directions and strengths.

연구 동기 및 목표

• 딥 페이스 레인지 시스템이 조도 변화에 대해 일반적으로 견고하다고 간주되지만, 악성 조명 조건에 대한 취약성을 조사하는 것.
• 자연스럽게 재조명된 얼굴 이미지를 생성하면서도 인식을 회피하는 새로운 작업인 악성 조명 공격(Adversarial Relighting Attack, ARA)을 제안하는 것.
• 정밀한 재조명 장치를 활용해 디지털 악성 공격와 실제 물리 세계 구현을 연결하는 것.
• 다양한 최신의 페이스 레인지 모델과 데이터셋에서 악성 조명 공격의 효과성을 평가하는 것.

제안 방법

• 조명 모델과 FR 시스템 피드백을 활용해 악성 조명 파rameter를 최적화하는 물리 기반의 악성 조명 공격인 AQ-ARA를 제안한다.
• 알베도 몫 모델 기반의 악성 목표 함수를 정의하여 자연스러운 보이지 않는 악성 조명을 생성하면서 동시에 인식 실패를 극대화한다.
• 입력 얼굴에서 직접 악성 조명을 예측하는 일체형 엔드 투 엔드 악성 조명 네트워크(ARNet)인 AP-ARA를 도입하여 효율성을 높인다.
• 로봇 암과 정밀한 조명 장치를 활용해 디지털 공격을 물리적 ARA(Phy-ARA)로 전환하여 실제 세계 검증을 가능하게 한다.
• 다양한 FR 모델과 조명 조건에서 인식 실패를 평가하기 위해 코사인 유사도를 주요 지표로 사용한다.
• 조명 지도의 차이를 3D 히스토GRAM 맵핑을 통해 민감도 분석을 수행하여 가장 인식에 영향을 미치는 조명 방향을 규명한다.

실험 결과

연구 질문

• RQ1 딥 페이스 레인지 시스템을 속이기 위해 물리적으로 타당하고 현실적인 방식으로 악성 조명 조건을 생성할 수 있는가?
• RQ2 FaceNet, ArcFace, CosFace와 같은 최신의 페이스 레인지 모델에서 악성 조명 공격가 인식 정확도를 얼마나 효과적으로 낮출 수 있는가?
• RQ3 디지털 악성 조명 공격가 실제 세계에서 성공적으로 전이되고 재현될 수 있으며, 인식 성능에 측정 가능한 영향을 미칠 수 있는가?
• RQ4 어느 조명 방향과 강도가 페이스 레인지 시스템에 가장 민감한가? 이는 변형 크기의 변화에 따라 어떻게 달라지는가?
• RQ5 저해상도나 가림 등 자연 이미지의 열화 조건에서도 악성 조명 공격가 여전히 효과를 유지하는가?

주요 결과

• AQ-ARA는 기준 이미지에서 코사인 유사도를 0.8069에서 0.4068로 감소시켜, 악성 조명 조건 하에서 심각한 인식 실패를 입증했다.
• 물리적 공격 (Phy-ARA)은 FaceNet에서 유사도를 0.7099에서 0.5896으로 낮췄고, 디지털 AQ-ARA는 0.3107까지 떨어뜨려 실제 세계 적용 가능성을 확인했다.
• 민감도 분석을 통해 얼굴 중앙 및 하단 부위의 조명원이 특히 높은 변형 수준(ε = 0.4 및 ε = 0.8)에서 인식을 가장 효과적으로 방해하는 것으로 밝혀졌다.
• AP-ARA는 일괄 처리 방식의 악성 조명 예측을 가능하게 하여 실시간 및 효율성에 민감한 응용 분야에 적합하다.
• AQ-ARA가 생성한 악성 조명이 물리적 재조명 결과와 유사하게 나타나 공격의 현실성과 재현 가능성을 검증했다.
• 무작위 조명 조작는 인식에 거의 영향을 주지 않아, 공격가 일반적인 조도 변화 때문이 아니라 타겟팅된 악성 조명 설계 때문임을 확인했다.