[논문 리뷰] Face De-Spoofing: Anti-Spoofing via Noise Modeling

Amin Jourabloo, Yaojie Liu외 1명|arXiv (Cornell University)|2018. 07. 26.

Biometric Identification and Security참고 문헌 28인용 수 15

한 줄 요약

이 논문은 CNN를 사용하여 생면을 및 가짜 스푸핑 노이즈 패턴으로 이미지를 분해하는 방식으로 스푸핑을 모델링하는 새로운 얼굴 가짜 탐지 방법을 제안한다. 생면에 대한 진정한 레이블이 없이도 스푸핑 노이즈를 추정함으로써, Oulu-NPU 및 CASIA-WEBBI 데이터셋에서 최신 기술 수준(SOTA)의 가짜 탐지 성능을 달성하며, 다양한 스푸핑 유형 간의 분류 가능한 노이즈 패턴을 드러낸다.

ABSTRACT

Many prior face anti-spoofing works develop discriminative models for recognizing the subtle differences between live and spoof faces. Those approaches often regard the image as an indivisible unit, and process it holistically, without explicit modeling of the spoofing process. In this work, motivated by the noise modeling and denoising algorithms, we identify a new problem of face de-spoofing, for the purpose of anti-spoofing: inversely decomposing a spoof face into a spoof noise and a live face, and then utilizing the spoof noise for classification. A CNN architecture with proper constraints and supervisions is proposed to overcome the problem of having no ground truth for the decomposition. We evaluate the proposed method on multiple face anti-spoofing databases. The results show promising improvements due to our spoof noise modeling. Moreover, the estimated spoof noise provides a visualization which helps to understand the added spoof noise by each spoof medium.

연구 동기 및 목표

• 기존의 가짜 탐지 방법이 블랙박스 분류 작업으로서의 해석 가능성과 일반화 능력에 빈도를 보이는 문제를 해결하기 위해.
• 학습 중에 진짜 얼굴에 대한 진정한 레이블이 없을 경우 스푸핑 이미지 분해의 과제를 해결하기 위해 약한 지도 학습 프레임워크를 설계하기 위해.
• 스푸핑 과정을 노이즈 주입 메커니즘으로 모델링하여, 역방향 분해를 통해 스푸핑 노이즈와 기반 생면을 분리할 수 있도록 하기 위해.
• 프int 및 재생 공격에서의 매체 특화 아티팩트를 이해하기 위해 스푸핑 노이즈 패턴의 시각화와 분석을 가능하게 하기 위해.
• 스푸핑 매체 레이블에 대한 명시적 지도 학습 없이도 추정된 스푸핑 노이즈가 스푸핑 유형을 분류하는 데 매우 분류 가능한지 확인하기 위해.

제안 방법

• 스푸핑된 입력 이미지에서 생면과 스푸핑 노이즈를 추정하는 CNN 기반 이미지 분해 네트워크를 제안한다.
• 실제(생면) 얼굴에 대해 스푸핑 노이즈를 0으로 강제하는 복원 손실을 적용하여, 진짜 샘플에 대해 모델이 노이즈를 출력하지 않도록 보장한다.
• 공간적으로 균일하고 반복적인 노이즈 제약 조건을 적용하여 스푸핑 노이즈가 이미지 전반에 걸쳐 널리 퍼져 있고 구조적으로 이루어지도록 유도한다.
• 추정된 노이즈의 고주파 성분을 추출하기 위해 고역통과 필터를 사용하여 향상된 시각화 및 분류 성능를 확보한다.
• 최적화의 안정성을 높이기 위해 복원, 스푸핑 노이즈 규칙성, 신원 유지 손실을 조합한 다중 작업 손실을 사용하여 모델을 훈련시킨다.
• 학습 중에 스푸핑 매체 레이블에 접근할 수 없더라도, 추정된 스푸핑 노이즈를 후행 가짜 탐지 분류 작업의 분류 가능한 특징으로 활용한다.

실험 결과

연구 질문

• RQ1 스푸핑을 노이즈 주입 과정으로 모델링할 수 있으며, 생면에 대한 진정한 레이블이 없이도 스푸핑된 이미지에서 노이즈를 역으로 추정할 수 있는가?
• RQ2 학습 중에 진짜 얼굴이 제공되지 않을 경우, 딥 러닝 모델이 스푸핑 얼굴을 생면과 스푸핑 노이즈로 분해하도록 훈련시킬 수 있는가?
• RQ3 추정된 스푸핑 노이즈 패턴이 프린트 및 재생 공격와 같은 다양한 스푸핑 매체를 충분히 분류할 수 있는가?
• RQ4 추정된 스푸핑 노이즈의 고주파 성분이 가짜 탐지나 법의학 분석에 유용한 매체 특화 특성들을 드러내는가?
• RQ5 기존 최신 기술 수준의 접근 방식과 비교해 볼 때, 제안된 방법이 벤치마크 데이터셋에서 가짜 탐지 성능을 향상시키는가?

주요 결과

• 제안된 방법은 Oulu-NPU 및 CASIA-WEBBI 데이터셋에서 최신 기술 수준의 성능을 달성하여 뛰어난 일반화 능력과 강건성을 입증하였다.
• 추정된 스푸핑 노이즈는 매우 분류 가능하다: 생면, 프린트, 디스플레이를 분류하는 3개 클래스의 SVM 분류기는 오직 노이즈 패턴만을 사용하여 82.0%의 정확도를 달성하였다.
• 5개 클래스 분류기(생면, 프린트1, 프린트2, 디스플레이1, 디스플레이2)는 54.3%의 정확도를 기록하여, 스푸핑 매체에 특화된 정보가 명시적 지도 학습 없이도 노이즈에 암묵적으로 포함되어 있음을 보여주었다.
• 추정된 스푸핑 노이즈의 시각화 결과는 동일한 스푸핑 매체 내에서 일관된 공간 패턴을 보이며, 각 매체마다 고유한 색상 및 질감 특성을 나타내었다.
• 추정된 노이즈의 고주파 대역은 스푸핑 매체 분류에 가장 분류 가능한 정보를 포함하고 있어, 법의학 분석에 활용할 수 있음을 뒷받침한다.
• 실패 케이스는 흔치 않으며 주로 잘못된 노이즈 추정에 기인해 있어, 모델의 전반적인 안정성과 향후 연구에서의 개선 잠재력을 시사한다.