[논문 리뷰] Adaptive Normalized Representation Learning for Generalizable Face Anti-Spoofing

Shubao Liu, Ke-Yue Zhang외 6명|arXiv (Cornell University)|2021. 08. 05.

Biometric Identification and Security참고 문헌 43인용 수 8

한 줄 요약

이 논문은 일반화된 얼굴 위조 방지 기법을 위한 새로운 프레임워크인 적응형 정규화 표현 학습(ANRL)을 제안한다. 이는 샘플별 융합 가중치를 통해 배치 정규화(BN)와 인스턴스 정규화(IN)를 적응적으로 조합한다. 적응형 특징 정규화 모듈(AFNM)과 이중 校정 제약—영역 간 호환 손실 및 클래스 간 분리 손실—을 도입함으로써 ANRL은 영역에 관계없이 특징을 학습하고, 다양한 교차 데이터셋 일반화 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

With various face presentation attacks arising under unseen scenarios, face anti-spoofing (FAS) based on domain generalization (DG) has drawn growing attention due to its robustness. Most existing methods utilize DG frameworks to align the features to seek a compact and generalized feature space. However, little attention has been paid to the feature extraction process for the FAS task, especially the influence of normalization, which also has a great impact on the generalization of the learned representation. To address this issue, we propose a novel perspective of face anti-spoofing that focuses on the normalization selection in the feature extraction process. Concretely, an Adaptive Normalized Representation Learning (ANRL) framework is devised, which adaptively selects feature normalization methods according to the inputs, aiming to learn domain-agnostic and discriminative representation. Moreover, to facilitate the representation learning, Dual Calibration Constraints are designed, including Inter-Domain Compatible loss and Inter-Class Separable loss, which provide a better optimization direction for generalizable representation. Extensive experiments and visualizations are presented to demonstrate the effectiveness of our method against the SOTA competitors.

연구 동기 및 목표

• 미래의 도메인 전이 상황에서 기존 얼굴 위조 방지 기법의 일반화 능력이 제한됨을 해결한다.
• 특징 추출 과정에서 고정된 정규화(BN 또는 IN)는 도메인 특화된 편향으로 인해 도메인 일반화를 방해함을 규명한다.
• 공격 시나리오가 다양할 경우에도 강건성을 높이기 위해 입력 샘플별로 정규화 유형을 적응적으로 선택하는 새로운 접근법을 제안한다.
• 이중 제약를 통한 메타학습 프레임워크를 설계하여 BN과 IN의 적응적 융합을 유도함으로써 더 나은 표현 학습을 달성한다.
• 영역에 관계없이 특징을 학습하고, 구분 능력이 뛰어난 표현을 얻음으로써 교차 데이터셋 얼굴 위조 방지에서 최신 기술 수준(SOTA) 성능을 달성한다.

제안 방법

• 샘플별 융합 가중치(α)를 학습하여 BN과 IN의 특징을 동적으로 조합하는 적응형 특징 정규화 모듈(AFNM)을 도입한다.
• 특징 표현을 가중치 합으로 정의한다: F = α × F_BN + (1 - α) × F_IN, 여기서 α는 각 입력 샘플에 대해 경량 네트워크가 예측한다.
• 다양한 소스 도메인 간의 특징 분포를 일치시켜 도메인 전이 영향을 줄이기 위해 영역 간 호환 손실을 제안한다.
• 진짜와 위조 얼굴 샘플 간의 간격을 최대화하여 구분 능력을 향상시키기 위해 클래스 간 분리 가능 손실을 도입한다.
• 메타학습을 통해 AFNM을 훈련하며, 이중 제약 조건이 α 최적화를 유도하여 미관측 도메인에서의 일반화 능력을 향상시킨다.
• AFNM을 각 잔차 블록 뒤에 삽입한 ResNet 기반 백본을 사용하여 샘플 수준의 정규화 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 BN과 IN의 적응적 융합이 미관측 도메인 전이 상황에서 얼굴 위조 방지의 일반화 능력을 향상시키는가?
• RQ2 다양한 테스트 도메인에서 도메인 전이가 다양할 경우, 정규화 방식(BN 대비 IN)의 선택이 성능에 미치는 영향은 어떠한가?
• RQ3 샘플 수준의 적응적 정규화 선택 전략이 고정된 정규화나 정적 융합 전략보다 우월한가?
• RQ4 이중 제약—영역 간 호환 손실 및 클래스 간 분리 가능 손실—이 학습된 표현의 일반화 능력을 어느 정도 향상시키는가?
• RQ5 균형 가중치 α는 샘플 간에 의미 있게 변동하는가? 그리고 도메인 및 위조 유형 특성과 상관관계가 있는가?

주요 결과

• ANRL은 I&C&M에서 O, O&C&M에서 I, O&C&I에서 M 등 여러 교차 데이터셋 얼굴 위조 방지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• BN과 IN의 적응적 융합을 사용한 모델은 단독으로 BN 또는 IN을 사용한 모델보다 성능이 뛰어나, 샘플별 정규화 선택 전략의 우수성을 입증한다.
• 시각화 결과, AFNM에서 높은 가중치를 가진 채널은 텍스처, 에지 등 얼굴 위조 징후에 집중하는 반면, 낮은 가중치 채널은 이식성 없는 배경이나 조명 아티팩트에 주목한다.
• 균형 가중치 α는 샘플에 따라 크게 달라진다: 얕은 층은 도메인 강건성을 위해 IN을 선호하고(α ≈ 0), 깊은 층은 분류 성능을 위해 BN을 선호한다(α ≈ 1).
• 도메인 변동성이 높은 작업(예: Idiap와 MSU 조합)에서는 ANRL이 자동으로 IN 사용 비율을 높이며, 도메인 불일치에 대한 적응적 반응을 확인한다.
• t-SNE 시각화 결과, 특히 소스 도메인이 크게 다를 경우 ANRL이 더 컴팩트하고 분리 가능한 특징 분포를 학습함을 확인할 수 있다.