[논문 리뷰] Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing

Zhuo Wang, Zezheng Wang외 5명|arXiv (Cornell University)|2022. 03. 10.

Biometric Identification and Security인용 수 13

한 줄 요약

이 논문은 내용과 스타일 특징을 분리하고, 도메인 불변 내용을 위해 적대적 학습을, 생존성과 관련된 스타일을 강조하기 위해 대조적 학습을 사용함으로써 도메인 일반화 가능한 얼굴 반사도 검출을 위한 새로운 셔플드 스타일 어셈블리 네트워크(SSAN)를 제안한다. 이 방법은 표준 및 새로 제안된 대규모 벤치마크에서 최신 기술 수준의 성능을 달성하여 예측되지 않은 도메인 간 강력한 일반화 능력을 보여준다.

ABSTRACT

With diverse presentation attacks emerging continually, generalizable face anti-spoofing (FAS) has drawn growing attention. Most existing methods implement domain generalization (DG) on the complete representations. However, different image statistics may have unique properties for the FAS tasks. In this work, we separate the complete representation into content and style ones. A novel Shuffled Style Assembly Network (SSAN) is proposed to extract and reassemble different content and style features for a stylized feature space. Then, to obtain a generalized representation, a contrastive learning strategy is developed to emphasize liveness-related style information while suppress the domain-specific one. Finally, the representations of the correct assemblies are used to distinguish between living and spoofing during the inferring. On the other hand, despite the decent performance, there still exists a gap between academia and industry, due to the difference in data quantity and distribution. Thus, a new large-scale benchmark for FAS is built up to further evaluate the performance of algorithms in reality. Both qualitative and quantitative results on existing and proposed benchmarks demonstrate the effectiveness of our methods. The codes will be available at https://github.com/wangzhuo2019/SSAN.

연구 동기 및 목표

• 새로운 공격 유형과 데이터셋에서 성능 저하가 발생하는 도메인 일반화 문제를 해결하기 위해.
• 기존 방법이 전체 표현에 기반하는 데에 한계가 있다는 점을 고려하여, 전역(콘텐츠)과 국소(스타일) 이미지 통계의 고유한 특성을 활용하기 위해.
• 학술 벤치마크와 실세계 산업 적용 간 격차를 해소하기 위해 새로운 대규모이고 현실적인 FAS 벤치마크를 제공하기 위해.
• 특징 수준의 스타일 전이와 대조적 학습을 활용한 종단간 효율적인 훈련 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 콘텐츠 특징(전역 의미 및 물리적 특성)과 스타일 특징(국소 질감 및 생존성 신호)을 별도로 추출하기 위해 이중 스트림 네트워크를 사용한다.
• 콘텐츠 특징은 다양한 데이터셋 간 도메인 불변 표현을 달성하기 위해 적대적 학습을 통해 정규화된다.
• 스타일 특징은 생존성과 관련된 패atters를 강조하고 도메인 특화된 잡음을 억제하기 위해 대조적 학습 전략을 사용하여 향상된다.
• 셔플드 스타일 어셈블리 메커니즘은 다중 쌍렬 레이어를 통해 콘텐츠와 스타일 특징을 재조합하여 다양한 고유한 특징 조합을 가능하게 한다.
• 대조적 학습 중 정지 기울기 연산을 사용하여 훈련을 안정화시키고 특징 분리도 향상시킨다.
• 확장성과 효율성에 적합한 대규모 산업용 데이터셋에 적용 가능한 종단간 훈련 파이프라인을 설계하였다.

실험 결과

연구 질문

• RQ1 콘텐츠와 스타일 특징을 분리하는 것이 교차 도메인 환경에서 얼굴 반사도 검출의 일반화 능력을 향상시키는가?
• RQ2 특징 표현에서 도메인 특화 잡음은 억제하면서 생존성과 관련된 스타일 정보는 어떻게 효과적으로 강조할 수 있는가?
• RQ3 이미지 수준 또는 이중 단계 증강과 비교해 특징 수준의 스타일 전이와 셔플드 어셈블리가 모델의 강건성에 얼마나 기여하는가?
• RQ4 실제 세계의 데이터 분포와 규모를 반영한 현실적인 대규모 벤치마크에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 각 구성 요소(적대적 학습, 대조적 학습, 정지 기울기 등)가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• SSAN-M은 O&C&I to M 프로토콜에서 10.42%의 HTER와 94.76%의 AUC를 기록하여 모든 아블레이션 변형을 초월한다.
• SSAN-R은 O&M&I to C 프로토콜에서 6.67%의 HTER와 98.75%의 AUC를 기록하여 예측되지 않은 도메인에서 뛰어난 일반화 능력을 입증한다.
• 아블레이션 연구 결과, 대조적 손실(L_contra)을 제거할 경우 HTER가 2.08% 상승함을 확인하여, 이 손실이 도메인 특화된 특징을 억제하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 정지 기울기 연산은 일반화 능력을 향상시키며, 정지 기울기가 적용된 SSAN-M은 이를 적용하지 않은 변형 대비 1.08% 낮은 HTER를 기록한다.
• t-SNE 시각화 결과, 스타일화된 특징가 생존 및 가짜 샘플 간에 더 분리 가능하고 도메인에 강인한 표현을 학습하는 것으로 확인되었다.
• Grad-CAM 시각화 결과, 모델이 모리레 패atters나 인쇄 자국 등 가짜 탐지 신호에 효과적으로 주목하고 있음을 확인하여, 생존성과 관련된 질감을 탐지하는 능력을 검증한다.