[논문 리뷰] Dual Reweighting Domain Generalization for Face Presentation Attack Detection

Shubao Liu, Ke-Yue Zhang외 7명|arXiv (Cornell University)|2021. 06. 30.

Biometric Identification and Security참고 문헌 19인용 수 6

한 줄 요약

이 논문은 새로운 프레임워크인 이중 재가중 도메인 일반화(DRDG)를 제안한다. 이는 미사용 도메인 간 일반화를 향상시키기 위해 반복적으로 샘플과 특징을 재가중하는 기법이다. 샘플 재가중 모듈과 특징 재가중 모듈을 도입하여 모델 최적화를 공동으로 개선함으로써, 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Face anti-spoofing approaches based on domain generalization (DG) have drawn growing attention due to their robustness for unseen scenarios. Previous methods treat each sample from multiple domains indiscriminately during the training process, and endeavor to extract a common feature space to improve the generalization. However, due to complex and biased data distribution, directly treating them equally will corrupt the generalization ability. To settle the issue, we propose a novel Dual Reweighting Domain Generalization (DRDG) framework which iteratively reweights the relative importance between samples to further improve the generalization. Concretely, Sample Reweighting Module is first proposed to identify samples with relatively large domain bias, and reduce their impact on the overall optimization. Afterwards, Feature Reweighting Module is introduced to focus on these samples and extract more domain-irrelevant features via a self-distilling mechanism. Combined with the domain discriminator, the iteration of the two modules promotes the extraction of generalized features. Extensive experiments and visualizations are presented to demonstrate the effectiveness and interpretability of our method against the state-of-the-art competitors.

연구 동기 및 목표

• 기존 도메인 일반화 방법이 모든 샘플을 동일하게 취급함으로써 도메인 편향으로 인해 성능 저하가 발생하는 데 대한 한계를 해결하기 위해.
• 학습 중에 높은 도메인 편향을 가진 샘플을 식별하고 영향을 줄여 모델의 일반화 능력을 향상시키기 위해.
• 저편향 샘플을 우선적으로 우선시하고, 이후에 자기-디스틸레이션을 통해 고편향 샘플의 특징을 개선함으로써 더 나은 일반화를 달성하는 학습 전략을 개발하기 위해.
• 반복적으로 샘플과 특징을 재가중시켜 모델이 더 도메인에 영향을 받지 않는 일반화된 특징을 학습하도록 유도하기 위해.

제안 방법

• 샘플 재가중 모듈(SRM)은 도메인 편향이 큰 샘플을 식별하고, 최적화 과정에서의 파급 영향을 줄이기 위해 낮은 학습 가중치를 할당한다.
• 특징 재가중 모듈(FRM)은 자기-디스틸레이션 메커니즘을 적용하여 고편향 샘플에 집중하고, 주의 기반 채널 재가중을 통해 더 도메인에 영향을 받지 않는 특징을 추출한다.
• 두 모듈은 도메인 구분자와 경쟁적으로 반복 업데이트되며, 안정적인 최적화와 향상된 특징 밀도를 보장한다.
• SRM는 도메인 불일치를 기반으로 학습 가능한 가중 메커니즘을 사용하여 학습 중 샘플 중요도를 동적으로 조정한다.
• FRM은 주의 맵에서 고에너지, 얼굴 중심 채널에 초점을 맞춤으로써 특징 일반화를 촉진하고 배경 및 스타일 잡음 등을 걸러낸다.
• 프레임워크는 도메인 적대적 훈련을 통합하여 도메인 불변 표현을 학습하도록 도메인 구분자가 모델을 유도한다.

실험 결과

연구 질문

• RQ1 학습 중에 높은 도메인 편향을 가진 샘플의 부정적 영향을 줄임으로써 얼굴 위조 방지에서 도메인 일반화를 어떻게 향상시킬 수 있는가?
• RQ2 샘플과 특징의 반복적 재가중이 함께 작용할 때, 모델이 일반화된 도메인 불변 표현을 학습하는 능력이 향상되는가?
• RQ3 저편향 샘플을 고편향 샘플보다 우선적으로 처리하는 것이 도메인 일반화에서 더 안정적이고 효과적인 최적화를 이끌어내는가?
• RQ4 특징 재가중에서 자기-디스틸레이션을 통해 특징의 밀도와 일반화 능력이 얼마나 향상되는가?
• RQ5 제안된 모듈은 특징 분포와 일반화 성능 측면에서 기준 도메인 일반화 전략과 비교해 어떻게 성능을 내는가?

주요 결과

• DRDG는 평가된 모든 벤치마크에서 최고의 성능을 기록했으며, 기준 모델 및 모든 아블레이션 변형(단일 SRM 또는 FRM를 갖춘 것 포함)을 모두 앞서 간다.
• 아블레이션 연구 결과, FRM는 자기-디스틸레이션을 통해 일반화 능력을 향상시키지만, 도메인을 더 멀리 떼는 FRM_reverse는 기준 모델보다 성능이 열 劣하다.
• SRM는 t-SNE 시각화를 통해 고편향 샘플을 효과적으로 식별하고 하향 조정함을 확인했으며, 저가중 샘플은 더 산산이 흩어져 있고, 이질적 샘플의 영향력은 감소한다.
• DRDG에서 유도된 특징 분포는 기준 모델보다 훨씬 더 밀도가 높으며, FRM 업데이트 후 고편향 도메인 샘플이 중심에 끌려오는 것으로 나타났다.
• 시각화 결과, FRM은 얼굴 영역에서 고에너지 주의 맵을 강조함으로써 내재된 얼굴 특징에 집중하는 것으로 확인되었으며, 옷이나 배경과 같은 일반화되지 않는 신호는 억제된다.
• SRM과 FRM의 상호 반복적 작용은 개선된 클래스 경계와 미사용 타겟 도메인에서의 성능 향상으로 이어져 더 견고하고 일반화 능력이 뛰어난 특징 공간을 형성한다.