[논문 리뷰] Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection

Meiling Fang, Naser Damer외 2명|arXiv (Cornell University)|2021. 09. 16.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 얼굴 제시 공격 탐지(PAD)에서 일반화 능력을 향상시키기 위해 가속 가능한 다중 수준 주파수 분해와 계층적 주의 메커니즘을 조합한 이중 스트림 CNN 프레임워크인 LMFD-PAD를 제안한다. 공간 및 주파수 도메인 특징을 특징 추상화 수준에 맞는 주의 모듈을 통해 함께 학습함으로써, 새로운 조건에서 OULU-NPU 데이터셋에서 HTER를 15.47%로 감소시키는 최신 기술 수준의 교차 데이터셋 성능을 달성한다.

ABSTRACT

With the increased deployment of face recognition systems in our daily lives, face presentation attack detection (PAD) is attracting much attention and playing a key role in securing face recognition systems. Despite the great performance achieved by the hand-crafted and deep-learning-based methods in intra-dataset evaluations, the performance drops when dealing with unseen scenarios. In this work, we propose a dual-stream convolution neural networks (CNNs) framework. One stream adapts four learnable frequency filters to learn features in the frequency domain, which are less influenced by variations in sensors/illuminations. The other stream leverages the RGB images to complement the features of the frequency domain. Moreover, we propose a hierarchical attention module integration to join the information from the two streams at different stages by considering the nature of deep features in different layers of the CNN. The proposed method is evaluated in the intra-dataset and cross-dataset setups, and the results demonstrate that our proposed approach enhances the generalizability in most experimental setups in comparison to state-of-the-art, including the methods designed explicitly for domain adaption/shift problems. We successfully prove the design of our proposed PAD solution in a step-wise ablation study that involves our proposed learnable frequency decomposition, our hierarchical attention module design, and the used loss function. Training codes and pre-trained models are publicly released

연구 동기 및 목표

• 미사용 센서 및 조명 조건에서 얼굴 제시 공격 탐지(PAD)의 일반화 갭을 해소하기 위해.
• 수작업 특징의 한계와 딥러닝 기반 PAD 방법의 과적합 문제를 해결하기 위해 공간 및 주파수 도메인 표현을 통합함으로써.
• 고정된 변환을 사용하는 대신 적응적으로 주파수 필터를 학습시켜 특징의 구분 능력과 강건성을 향상시키기 위해.
• CNN 특징의 추상화 수준을 고려한 계층적 주의 메커니즘 설계를 통해 도메인 간 특징 융합을 향상시키기 위해.
• 도메인 적응 접근법을 포함한 최신 기술 수준의 방법들과 비교해도 열등하지 않은 우수한 교차 데이터셋 성능을 입증하기 위해.

제안 방법

• 이중 스트림 CNN 아키텍처를 활용: 하나의 스트림은 RGB 이미지를 처리하여 공간 특징을 학습하고, 다른 하나는 이미지를 다중 수준 주파수 성분으로 분해하기 위해 가속 가능한 주파수 필터를 적용한다.
• 이산余弦변환(DCT)을 사용하며, 미분 가능하고 가속 가능한 필터를 적용하여 센서 및 조명 변화에 덜 민감한 주파수 도메인 특징을 추출한다.
• 낮은 합성곱 레이어에서는 텍스처 특징을 위한 공간 주의, 높은 레이어에서는 의미 특징을 위한 채널 주의를 적용하는 계층적 주의 메커니즘(HAM)을 도입한다.
• 특징 추상화 수준에 따라 주의 모듈을 기반으로 다단계에서 두 스트림의 특징을 융합함으로써, 특징 수준에 맞는 조기에 적응적인 통합을 가능하게 한다.
• 분류 성능 향상을 위해 조합된 손실 함수를 사용: 이진 분류를 위한 포칼 손실과 픽셀 단위 특징 맵 감시를 위한 스무스 L1 손실을 함께 적용한다.
• 백프로파게이션을 통해 엔드 투 엔드로 훈련함으로써 주파수 필터, 주의 가중치, 분류 헤드를 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 가속 가능한 다중 수준 주파수 분해가 새로운 센서 및 조명 조건에서 얼굴 PAD 모델의 일반화 능력을 향상시키는가?
• RQ2 CNN 특징의 추상화 수준에 맞춰 적응하는 계층적 주의 메커니즘이 특징 융합 및 탐지 성능을 향상시키는가?
• RQ3 교차 데이터셋 PAD 시나리오에서 공간 및 주파수 도메인 특징의 융합이 단일 모odal 접근법보다 어떻게 비교되는가?
• RQ4 가속 가능한 주파수 필터, 계층적 주의, 조합된 손실 등의 구성 요소들이 일반화 향상에 얼마나 기여하는가?
• RQ5 과적합 없이 다양한 촬영 장치 및 환경에서 구분 가능한 공격 아티팩트를 효과적으로 학습할 수 있는가?

주요 결과

• 제안된 LMFD-PAD 모델은 O&C&I → M 교차 데이터셋 설정에서 15.47%의 HTER를 달성하여 도메인 이동을 고려한 최신 기술 수준의 방법들보다 뛰어난 성능을 보였다.
• 제거 실험을 통해 가속 가능한 주파수 분해, 계층적 주의 메커니즘, 조합된 손실 각각이 성능 향상에 크게 기여하는 것으로 확인되었다.
• t-SNE 시각화 결과, 다양한 조명 및 장치 조건에서도 정상 샘플과 공격 샘플의 특징가 잘 분리되어 있음을 확인했다.
• 모델는 다양한 환경과 장치에서 공격 샘플의 강건한 클러스터링을 보이며 일반화 가능한 공격 아티팩트를 효과적으로 탐색하고 있음을 시사한다.
• HAM 모듈은 모든 교차 데이터셋 설정에서 공간 및 주파수 특징의 조기에 더 맥락 인식적인 융합을 가능하게 하여 성능 향상을 이룬다.
• 포칼 손실과 스무스 L1 손실의 사용은 특히 불균형한 교차 데이터셋 평가 환경에서 표준 BCE 손실보다 더 강력한 일반화 성능을 제공한다.