[논문 리뷰] Structure Destruction and Content Combination for Face Anti-Spoofing

Ke-Yue Zhang, Taiping Yao외 5명|arXiv (Cornell University)|2021. 07. 22.

Biometric Identification and Security참고 문헌 28인용 수 4

한 줄 요약

이 논문은 얼굴 위조 방지에 대한 새로운 파괴 및 조합 네트워크(DCN)를 제안하며, 얼굴 구조를 파괴하고 다양한 서브도메인의 콘텐츠를 조합하여 강건성을 향상시킨다. 구조 파괴 모듈과 콘텐츠 조합 모듈, 그리고 국소적 관계 모델링을 통해, 보조 감독 없이도 상태최저 성능을 달성하며 Oulu-NPU에서 ACER가 0.62%로 기록되어 일반화 능력과 특징 분류 능력이 뛰어나다.

ABSTRACT

In pursuit of consolidating the face verification systems, prior face anti-spoofing studies excavate the hidden cues in original images to discriminate real persons and diverse attack types with the assistance of auxiliary supervision. However, limited by the following two inherent disturbances in their training process: 1) Complete facial structure in a single image. 2) Implicit subdomains in the whole dataset, these methods are prone to stick on memorization of the entire training dataset and show sensitivity to nonhomologous domain distribution. In this paper, we propose Structure Destruction Module and Content Combination Module to address these two imitations separately. The former mechanism destroys images into patches to construct a non-structural input, while the latter mechanism recombines patches from different subdomains or classes into a mixup construct. Based on this splitting-and-splicing operation, Local Relation Modeling Module is further proposed to model the second-order relationship between patches. We evaluate our method on extensive public datasets and promising experimental results to demonstrate the reliability of our method against state-of-the-art competitors.

연구 동기 및 목표

• 기존 얼굴 위조 방지 방법에서 전반적인 얼굴 구조에 대한 과도한 의존을 해결하기 위해.
• 학습 데이터셋 내 암묵적인 서브도메인으로 인한 도메인 편향을 완화하기 위해.
• 다양한 공격 유형과 알려지지 않은 도메인 간의 모델 일반화 능력을 향상시키기 위해.
• 패치 간 국소적 관계를 모델링하여 특징 분류 능력을 향상시키기 위해.

제안 방법

• 구조 파괴 모듈은 입력 이미지를 무작위로 재배열한 패치들로 분할하여 전반적인 얼굴 구조의 영향을 제거한다.
• 콘텐츠 조합 모듈은 서로 다른 클래스 또는 서브도메인의 패치를 하나의 이미지에 혼합하여 도메인 불변 학습을 촉진한다.
• 국소적 관계 모델링 모듈은 코사인 유사도를 사용하여 패치 간의 두 번째 순서 관계를 모델링하여 동일한 클래스에 대한 특징 일관성을 향상시킨다.
• 이 프레임워크는 국소적 세부 정보 추출과 패치 간 관계 학습을 동시에 최적화하여 강건성을 향상시킨다.
• 단순화된 백본을 사용하여 성능 향상은 아키텍처 설계의 결과이며, 모델 복잡성 때문이 아니라는 것을 입증한다.
• 심화 지도 신호나 깊이 맵, r-ppg 신호와 같은 보조 감독을 피하고, 데이터 재구성과 자기지도 학습에 의존한다.

실험 결과

연구 질문

• RQ1 입력 이미지에서 얼굴 구조를 파괴함으로써 얼굴 위조 방지에서 전반적인 얼굴 패턴에 대한 과적합을 줄일 수 있는가?
• RQ2 다른 서브도메인이나 클래스의 패치를 조합함으로써 도메인 간 모델 일반화 능력이 향상되는가?
• RQ3 이미지 패치 간의 두 번째 순서 관계를 모델링함으로써 위조 방지에서 특징 분류 능력이 향상되는가?
• RQ4 교차 데이터셋 평가에서 제안된 방법이 최신 기술 대비 어떻게 비교되는가?
• RQ5 제안된 프레임워크에서 보조 감독의 부재가 성능에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 방법은 Oulu-NPU 프로토콜 1에서 ACER가 0.62%로 기존 모든 방법을 능가한다.
• SiW 데이터셋에서 프로토콜 1과 2에서는 최고 성능을 기록하였으며, 프로토콜 3에서도 유사한 결과를 얻었다.
• 제거 실험 결과, 구조 파괴, 콘텐츠 조합, 국소적 관계 모델링의 세 모듈이 성능 향상에 점진적으로 기여하는 것으로 확인되었다.
• 특징 시각화 결과, 구조 파괴 모듈이 얼굴 윤곽선과 구조적 단서에 대한 의존도를 감소시킴을 보여주었다.
• 콘텐츠 조합 모듈은 다양한 도메인 간 생체와 위조 샘플의 특징 간 분리도를 크게 향상시켰다.
• 국소적 관계 모델링 모듈은 t-SNE 시각화를 통해 특징 공간에서 동일 클래스의 밀도를 높이고, 서로 다른 클래스 간의 분리도를 향상시켰다.