[논문 리뷰] Instance-Aware Domain Generalization for Face Anti-Spoofing

Qianyu Zhou, Ke-Yue Zhang외 5명|arXiv (Cornell University)|2023. 04. 12.

Biometric Identification and Security참고 문헌 61인용 수 5

한 줄 요약

이 논문은 얼굴 위조 방지에서 도메인 간 일반화 성능을 향상시키기 위해 도메인 레이블에 의존하지 않고 개체 수준에서 특징을 정렬하는 Instance-Aware Domain Generalization (IADG)을 제안한다. Asymmetric Instance Adaptive Whitening, Dynamic Kernel Generator, Categorical Style Assembly를 도입하여 스타일에 민감하지 않은 표현을 학습함으로써 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Face anti-spoofing (FAS) based on domain generalization (DG) has been recently studied to improve the generalization on unseen scenarios. Previous methods typically rely on domain labels to align the distribution of each domain for learning domain-invariant representations. However, artificial domain labels are coarse-grained and subjective, which cannot reflect real domain distributions accurately. Besides, such domain-aware methods focus on domain-level alignment, which is not fine-grained enough to ensure that learned representations are insensitive to domain styles. To address these issues, we propose a novel perspective for DG FAS that aligns features on the instance level without the need for domain labels. Specifically, Instance-Aware Domain Generalization framework is proposed to learn the generalizable feature by weakening the features' sensitivity to instance-specific styles. Concretely, we propose Asymmetric Instance Adaptive Whitening to adaptively eliminate the style-sensitive feature correlation, boosting the generalization. Moreover, Dynamic Kernel Generator and Categorical Style Assembly are proposed to first extract the instance-specific features and then generate the style-diversified features with large style shifts, respectively, further facilitating the learning of style-insensitive features. Extensive experiments and analysis demonstrate the superiority of our method over state-of-the-art competitors. Code will be publicly available at https://github.com/qianyuzqy/IADG.

연구 동기 및 목표

• 도메인 수준의 레이블이 아닌 세밀한 스타일 변동을 포착하지 못하는 조잡하고 인위적인 도메인 레이블에 의존하는 도메인 인식 도메인 일반화의 한계를 해결하기 위해.
• 도메인 수준의 분포가 아닌 개체별 스타일에 민감하지 않은 특징을 학습하여 미리 보지 않은 도메인으로의 일반화 성능을 향상시키기 위해.
• 도메인 레이블 의존성을 제거하기 위해 개체 수준에서 작동하는 프레임워크를 개발하여 더 세밀하고 적응형 특징 정렬을 가능하게 하기 위해.
• 동적 스타일 증강 및 적응형 특징 화이트닝을 통해 다양한 위조 공격 및 환경 변화에 대한 강건성을 향상시키기 위해.

제안 방법

• 각 개체별로 공분산 행렬을 조작하여 스타일 민감도 특징 상관관계를 적응적으로 감소시키는 비대칭 개체 적응형 화이트닝(AIAW)을 제안한다.
• 개체별 적응형 합성곱 필터를 학습하는 동적 커널 생성기(DKG)를 도입하며, 정적 필터와 조합하여 개체별 특징 학습을 향상시킨다.
• 카테고리 방식으로 개체별 스타일 다양성을 모델링하여 다양한 스타일 이동 특징을 생성함으로써 레이블 泄漏를 방지하는 카테고리 스타일 조립(CSA)을 활용한다.
• 실제 샘플과 위조 샘플을 위한 이중 브랜치 전략을 사용하며, AIAW에서 비대칭 감독을 통해 도메인 이동 상황에서도 일반화 성능을 향상시킨다.
• 가장 먼 점 샘플링(Farhest Point Sampling, FPS)을 이용한 스타일 기반 선택을 통한 특징 공간 증강을 활용하여 다양한 소스 스타일을 커버하고, 새로운 도메인 외부 스타일을 생성한다.
• t-SNE 시각화 및 Grad-CAM 분석을 통해 AIAW가 기기 간 주의 분포 이탈을 감소시키고 관련 없는 특징 상관관계를 화이트닝함을 검증한다.

실험 결과

연구 질문

• RQ1 도메인 수준에서 개체 수준으로의 특징 정렬 전환을 통해 얼굴 위조 방지에서 도메인 일반화 성능을 향상시킬 수 있는가?
• RQ2 인위적 또는 조잡한 도메인 레이블에 의존하지 않고 모델의 일반화 성능를 어떻게 향상시킬 수 있는가?
• RQ3 비대칭 특징 화이트닝과 동적 스타일 증강이 새로운 위조 공격 및 환경 변화에 대한 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 개체 수준의 스타일 다양성을 효과적으로 모델링하고 활용하여 현실적인 도메인 외부 스타일 변형을 데이터 증강에 활용할 수 있는가?
• RQ5 개체 인식 특징 학습은 도메인 수준 정렬에 비해 더 컴act하고 분류 능력이 뛰어난 특징 분포를 만들어내는가?

주요 결과

• 제안된 IADG 프레임워크는 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 도메인 일반화 방법을 능가한다.
• 제거 실험 결과, 동적 커널 생성기를 통해 정적 및 동적 합성곱 필터를 조합하면 별도로 사용할 경우보다 뛰어난 성능을 낸다.
• 카테고리 스타일 조립(CSA)은 기존의 SSA와 같은 기준 방법보다 더 다양한 실재성 있는 스타일 증강 특징을 생성하며, 소스 분포를 초월한 새로운 스타일도 포함한다.
• t-SNE 시각화 결과, IADG는 도메인 인식 방법에 비해 더 컴 pact한 실제 샘플 특징과 실제 및 위조 샘플 간의 더 나은 결정 경계를 생성함을 확인했다.
• Grad-CAM 시각화 결과, AIAW가 다양한 기기 및 환경에서 얼굴 영역에 주의를 안정적으로 유지하며 도메인 특화된 잡음에 대한 민감도를 감소시킴을 입증했다.
• 비대칭 개체 적응형 화이트닝은 스타일 민감 채널의 특징 상관관계를 효과적으로 감소시키며 동일한 분류 정보를 유지함으로써 일반화 성능 향상에 기여한다.