[논문 리뷰] 3D Face Anti-spoofing with Factorized Bilinear Coding

Shan Jia, Xin Li외 3명|arXiv (Cornell University)|2020. 05. 12.

Biometric Identification and Security참고 문헌 75인용 수 5

한 줄 요약

이 논문은 RGB 및 YCbCr 색상 공간에서의 보완적 특징을 융합하기 위해 인자 분해 이중선형 코딩을 사용하는 새로운 3D 얼굴 위조 방지 방법 MC_FBC를 제안한다. 이는 실제 얼굴과 왁스 조각 얼굴 간의 미세한 분류를 위해 설계되었으며, 대규모 WFFD 데이터베이스 및 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 매우 현실적인 3D 위조 공격에 대해 뛰어난 강건성을 보여준다.

ABSTRACT

We have witnessed rapid advances in both face presentation attack models and presentation attack detection (PAD) in recent years. When compared with widely studied 2D face presentation attacks, 3D face spoofing attacks are more challenging because face recognition systems are more easily confused by the 3D characteristics of materials similar to real faces. In this work, we tackle the problem of detecting these realistic 3D face presentation attacks, and propose a novel anti-spoofing method from the perspective of fine-grained classification. Our method, based on factorized bilinear coding of multiple color channels (namely MC\_FBC), targets at learning subtle fine-grained differences between real and fake images. By extracting discriminative and fusing complementary information from RGB and YCbCr spaces, we have developed a principled solution to 3D face spoofing detection. A large-scale wax figure face database (WFFD) with both images and videos has also been collected as super-realistic attacks to facilitate the study of 3D face presentation attack detection. Extensive experimental results show that our proposed method achieves the state-of-the-art performance on both our own WFFD and other face spoofing databases under various intra-database and inter-database testing scenarios.

연구 동기 및 목표

• 기존 방법으로는 탐지하기 어려운, 특히 왁스 조각 얼굴을 사용한 매우 현실적인 3D 얼굴 위조 공격의 증가하는 위협에 대응하기 위해.
• 다양한 색상 공간에서의 보완적 특징을 활용하여 실제 얼굴과 위조 얼굴 간의 미세한 차이를 포착하는 세분화된 분류 접근법을 개발하기 위해.
• 이미지 및 영상 자료를 포함한 대규모, 다양한 구성, 현실적인 3D 얼굴 위조 공격 데이터베이스(WFFD)를 구축하여 위조 방지 방법의 평가를 향상시키기 위해.
• 기존 방법이 실패하는 어두운 조명 조건이나 얼굴 가림 등의 어려운 조건에서도 탐지 강건성을 향상시키기 위해.
• 3D 얼굴 위조 방지 분야의 연구를 가속화하기 위해 공개된 코드베이스와 데이터베이스(WFFD)를 제공하기 위해.

제안 방법

• RGB 및 YCbCr 색상 채널 간의 이중선형 특징을 인자 분해하여 분류 가능한 표현을 학습하는 MC_FBC(Multicolor Factorized Bilinear Coding)를 제안한다.
• VGG-16 및 ResNet-50와 같은 사전 훈련된 CNN에서 RGB 및 YCbCr 공간에서의 깊은 특징을 추출하여 보완적인 시각적 단서를 확보한다.
• 인자 분해된 이중선형 코딩을 적용하여 채널 간 상호작용을 효율적으로 모델링하고, 계산 비용을 줄이면서도 분류 능력을 유지한다.
• Grad-CAM 및 가이드드 Grad-CAM 시각화를 통해 주의 메커니즘을 분석하여, MC_FBC가 코와 입술주름과 같은 생물학적으로 타당한 영역에 집중하고 있음을 확인한다.
• RGB 및 YCbCr 채널 전용 별도의 CNN 브랜치의 출력을 이중선형 코딩 이전에 융합하는 이중 스트림 특징 융합 전략을 사용한다.
• WFFD 및 기타 표준 위조 공격 데이터베이스에서 내부 데이터셋 및 교차 데이터셋 평가 프로토콜을 모두 활용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 인자 분해된 이중선형 코딩은 특히 왁스 조각 얼굴에서 비롯된 매우 현실적인 3D 얼굴 위조 공격 탐지에 대해 세분화된 분류 가능한 특징을 효과적으로 학습할 수 있는가?
• RQ2 RGB 및 YCbCr와 같은 다중 색상 공간의 특징 융합은 단일 공간 기반 방법에 비해 3D 얼굴 위조 방지의 강건성과 정확도를 향상시키는가?
• RQ3 어두운 조명 조건이나 얼굴 가림과 같은 어려운 실제 환경 조건에서 제안된 MC_FBC 방법은 어떻게 성능을 발휘하는가?
• RQ4 높은 다양성과 현실성을 지닌 제안된 WFFD 데이터베이스는 위조 방지 모델의 평가 및 일반화 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법은 다양한 위조 재료와 촬영 조건을 가진 다른 데이터베이스 간에도 일반화 가능한가?

주요 결과

• 제안된 MC_FBC 방법은 새로 구축된 WFFD 데이터베이스에서 최신 기술 수준의 성능을 달성하며, 기존의 3D 얼굴 위조 방지 방법을 크게 능가한다.
• WFFD 데이터셋에서 내부 데이터셋 테스트 시, MC_FBC는 영구적인 오류 없는 탐지율을 기록하여 자체 벤치마크에서 높은 신뢰성을 입증한다.
• 외부 데이터셋 테스트에서도 오류율이 10% 미만으로 경쟁적인 성능을 보이며, 과제의 난이도를 감안할 때 강력한 일반화 능력을 보여준다.
• 시각화 결과에서 MC_FBC는 코와 입술주름과 같은 생물학적으로 관련 있는 얼굴 영역에 집중하고 있음을 확인하였으며, 인간의 인지와 일치하여 해석 가능성도 향상된다.
• 어두운 조명 조건에서는 YCbCr 색상 공간이 더 강건한 것으로 밝혀졌고, 안경과 같은 가림이 있는 경우 RGB가 더 우수한 성능를 보여, 다중 채널 융합의 가치를 확인한다.
• 특히 혼동스러운 샘플에서 표준 CNN(VGG-16 등) 및 표준 이중선형 코딩(FBC)에 비해 정확도와 주의 집중 영역 일致성 측면에서 모두 뛰어난 성능을 발휘한다.