[논문 리뷰] Few-Shot Domain Expansion for Face Anti-Spoofing

Bowen Yang, Jing Zhang외 2명|arXiv (Cornell University)|2021. 06. 27.

Biometric Identification and Security참고 문헌 44인용 수 7

한 줄 요약

이 논문은 소수의 레이블이 부여된 샘플만 있는 새로운 타겟 도메인 환경에서의 소수 샘플 도메인 확장(Few-Shot Domain Expansion, FSDE-FAS) 문제를 해결하기 위해 스타일 전이 기반 증강 기법을 활용한 의미적 정렬(Semantic Alignment) 프레임워크(SASA)를 제안한다. 소스 도메인과 타겟 도메인을 연결하기 위해 사진처럼 사실적인 스타일 전이 증강 데이터를 생성하고, 대비적 의미 정렬 및 점진적 적대적 훈련을 통해 타겟 도메인 성능을 100% 이상 향상시키며, 동시에 소스 도메인 성능 저하를 2% 이내로 유지한다.

ABSTRACT

Face anti-spoofing (FAS) is an indispensable and widely used module in face recognition systems. Although high accuracy has been achieved, a FAS system will never be perfect due to the non-stationary applied environments and the potential emergence of new types of presentation attacks in real-world applications. In practice, given a handful of labeled samples from a new deployment scenario (target domain) and abundant labeled face images in the existing source domain, the FAS system is expected to perform well in the new scenario without sacrificing the performance on the original domain. To this end, we identify and address a more practical problem: Few-Shot Domain Expansion for Face Anti-Spoofing (FSDE-FAS). This problem is challenging since with insufficient target domain training samples, the model may suffer from both overfitting to the target domain and catastrophic forgetting of the source domain. To address the problem, this paper proposes a Style transfer-based Augmentation for Semantic Alignment (SASA) framework. We propose to augment the target data by generating auxiliary samples based on photorealistic style transfer. With the assistant of the augmented data, we further propose a carefully designed mechanism to align different domains from both instance-level and distribution-level, and then stabilize the performance on the source domain with a less-forgetting constraint. Two benchmarks are proposed to simulate the FSDE-FAS scenarios, and the experimental results show that the proposed SASA method outperforms state-of-the-art methods.

연구 동기 및 목표

• 새로운 환경에 적용하기 위한 실용적인 과제로서, 타겟 도메인에서 레이블이 부여된 샘플이 소수만 존재하는 상황에서의 얼굴 위조 방지 시스템 구현 문제를 해결한다.
• 기존 소스 도메인 성능을 저하시키지 않으면서도 새로운 타겟 도메인에서의 성능 향상을 달성하여 치명적인 기억 상실을 방지한다.
• 의미적으로 정렬된, 사진처럼 사실적인 증강 샘플을 생성함으로써 소스 도메인과 타겟 도메인 간의 도메인 갭을 줄인다.
• 소스 도메인 특징 표현의 큰 변화를 방지하는 덜 기억 상실 제약 조건을 도입하여 모델의 일반화 안정성을 높인다.
• 실제 소수 샘플 도메인 확장 시나리오를 반영한 새로운 벤치마크에서 제안된 프레임워크의 유효성을 검증한다.

제안 방법

• 소스 도메인의 콘텐츠에 타겟 도메인의 스타일을 전이하는 사진처럼 사실적인 스타일 전이(WCT2)를 적용하여 보조 도메인을 생성함으로써 신원과 위조 징후 의미를 유지한다.
• 소스 도메인과 타겟 도메인의 동일한 클래스 샘플이 특징 공간에서 가까워지도록 인스턴스 수준의 대비적 의미 정렬을 적용한다.
• 특징 분포 수준에서 도메인 갭을 점진적으로 줄임으로써 도메인 분포를 정렬하기 위해 점진적 적대적 훈련을 사용한다.
• 훈련 중 소스 도메인 특징 표현의 큰 변화를 방지하는 소스 도메인의 덜 기억 상실 제약 조건을 도입한다.
• 대비적, 적대적, 기억 상실 정규화 항을 포함하는 다중 작업 손실을 사용하여 소스 데이터, 타겟 데이터, 증강된 보조 데이터를 함께 훈련한다.
• t-SNE 시각화를 활용하여 특징 공간의 클러스터링과 도메인 정렬 효과를 분석한다.

실험 결과

연구 질문

• RQ1 사진처럼 사실적인 스타일 전이가 얼굴 위조 방지에서 소스 도메인과 타겟 도메인 간의 도메인 갭을 효과적으로 줄이는 데 도움이 되는 보조 샘플을 생성할 수 있는가?
• RQ2 증강된 데이터와 이중 수준의 도메인 정렬(인스턴스 수준 및 분포 수준)을 함께 훈련함으로써 소스 도메인 성능에 해를 끼치지 않으면서도 타겟 도메인에서의 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 덜 기억 상실 제약 조건이 소스 도메인에서의 치명적인 기억 상실을 어느 정도 완화하는가?
• RQ4 대비적 의미 정렬과 점진적 적대적 훈련이 타겟 도메인 성능 향상에 개별적으로 및 함께 기여하는 정도는 어떠한가?
• RQ5 소수의 레이블이 부여된 샘플만 존재하는 상황에서 제안된 SASA 프레임워크가 타겟 도메인에서 뚜렷한 성능 향상을 달성하면서도 소스 도메인에서의 안정성을 유지할 수 있는가?

주요 결과

• 제안된 SASA 방법은 기준 모델 대비 타겟 도메인에서 100% 이상의 성능 향상을 달성하며, 소스 도메인에서는 오직 2%의 변동만을 보인다.
• 대비적 의미 정렬과 점진적 적대적 학습의 조합이 각각 단독으로 사용될 경우보다 우수한 성능을 낸다.
• 점진적 적대적 훈련 전략은 비점진적 대비 전략 대비 약 2%의 성능 향상을 이끌어내며(10.32% 대비 11.94%), 타겟 도메인 성능 향상에 기여한다.
• t-SNE 시각화 결과, 증강된 샘플이 특징 공간에서 소스 도메인과 타겟 도메인 사이에 위치함을 확인하여 도메인 간 전이가 부드럽고, 더 나은 결정 경계 형성이 가능함을 입증한다.
• 소스 도메인의 덜 기억 상실 제약 조건은 소스 도메인 성능 저하를 크게 감소시키며, 타겟 도메인 적응성에 손상을 주지 않으면서도 분류 특징를 유지한다.
• 제안된 SASA 프레임워크는 실제 소수 샘플 도메인 확장 시나리오를 모의한 두 개의 새로운 벤치마크에서 최신 기술 대비 뛰어난 성능을 보였다.