[논문 리뷰] Multi-Modal Face Anti-Spoofing Based on Central Difference Networks

Zitong Yu, Yunxiao Qin외 5명|arXiv (Cornell University)|2020. 04. 17.

Biometric Identification and Security참고 문헌 42인용 수 10

한 줄 요약

이 논문은 중심 차분 컨볼루션 네트워크(CDCN) 기반의 다중 모odal 얼굴 위조 방지 방법을 제안하며, CDCN을 RGB, 깊이, 적외선 모달리티를 동시에 모델링할 수 있도록 확장하여 내재된 위조 패턴을 포착한다. 이는 상태 기준 성능을 달성하여 ChaLearn FAS 챌린지 2020의 다중 모달 트랙에서 1등, 단일 모달(_RGB_) 트랙에서 2등을 차지했으며, 각각 1.02% ± 0.59% ACER 및 4.84% ± 1.79% ACER를 기록했다.

ABSTRACT

Face anti-spoofing (FAS) plays a vital role in securing face recognition systems from presentation attacks. Existing multi-modal FAS methods rely on stacked vanilla convolutions, which is weak in describing detailed intrinsic information from modalities and easily being ineffective when the domain shifts (e.g., cross attack and cross ethnicity). In this paper, we extend the central difference convolutional networks (CDCN) \cite{yu2020searching} to a multi-modal version, intending to capture intrinsic spoofing patterns among three modalities (RGB, depth and infrared). Meanwhile, we also give an elaborate study about single-modal based CDCN. Our approach won the first place in "Track Multi-Modal" as well as the second place in "Track Single-Modal (RGB)" of ChaLearn Face Anti-spoofing Attack Detection Challenge@CVPR2020 \cite{liu2020cross}. Our final submission obtains 1.02$\pm$0.59\% and 4.84$\pm$1.79\% ACER in "Track Multi-Modal" and "Track Single-Modal (RGB)", respectively. The codes are available at{https://github.com/ZitongYu/CDCN}.

연구 동기 및 목표

• 크로스-어택 및 크로스-에티니시티와 같은 도메인 이동 상황에서 기존 CNN의 미세한 위조 패턴 포착 능력에 한계가 있음을 해결하기 위해.
• CDCN이 RGB 모달리티를 초월해 깊이 및 적외선 모달리티에서도 얼굴 위조 방지에 효과적으로 기여하는지 조사하기 위해.
• RGB, 깊이, 적외선 입력을 융합하여 다양한 위조 공격 및 민족적 배경에 걸쳐 일반화 능력을 향상시키는 견고한 다중 모달 융합 전략을 개발하기 위해.
• 특히 CASIA-SURF CeFA 데이터셋의 프로토콜 4에서 어려운 크로스-에티니시티 및 크로스-어택 프로토콜을 통과하여 최상의 성능을 달성하기 위해.

제안 방법

• 중앙 차분 컨볼루션(CDC) 연산을 변형하여 RGB, 깊이, 적외선 모달리티에서 미세한 위조 암시를 강조하는 고대비, 에지 민감한 특징을 추출하기 위해.
• 각 모달리티(RGB, 깊이, IR)에 대해 CDCN을 단일 모달 백본으로 적용하여 조명, 질감, 재질 변화에 관계없이 분류 가능한 패턴을 학습할 수 있도록 하기 위해.
• 모든 세 모달리티의 깊은 특징을 연결하여 통합된 표현을 형성함으로써 상호보완적인 위조 신호를 포착하는 특징 수준 융합을 구현하기 위해.
• 특징 수준 융합이 성능을 떨어뜨릴 경우, 특히 예측되지 않은 민족적 배경에서의 성능을 향상시키기 위해 가중 평균(0.5 × RGB + 0.5 × 깊이)을 사용한 점수 수준 융합을 적용하기 위해.
• 하이퍼파rameter θ(0.5, 0.7, 0.9)를 최적화하여 하위 프로토콜 간 신뢰도 점수의 균형을 맞추고, 크로스-에티니시티 벤치마크에서 일반화 능력을 향상시키기 위해 융합 전략을 최적화하기 위해.
• 가장 도전적인 설정인 벤치마크에서 가장 어려운 조건인 프로토콜 4(동시 크로스-어택 및 크로스-에티니시티)에서 CASIA-SURF CeFA 데이터셋을 기반으로 모델을 훈련하고 평가하기 위해.

실험 결과

연구 질문

• RQ1 얼굴 위조 방지에서 RGB 이외의 모달리티인 깊이 및 적외선에 CDCN을 적용했을 때의 성능는 어떠한가?
• RQ2 CDCN은 크로스-에티니시티 및 크로스-어택 유형과 같은 도메인 이동 상황에서도 여러 모달리티 간 내재된 위조 패턴을 효과적으로 포착할 수 있는가?
• RQ3 입력 수준, 특징 수준, 점수 수준 중 어느 융합 전략이 어려운 프로토콜에서 다중 모달 얼굴 위조 방지에 가장 높은 성능을 낼 수 있는가?
• RQ4 다양한 조명, 카메라, 재질 조건에서 CDCN이 표준 CNN보다 미세한 위조 암시를 얼마나 잘 포착할 수 있는가?
• RQ5 다중 모달 CDCN은 실제 위조 공격이 존재하는 상황에서 예측되지 않은 민족적 배경에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 다중 모달 CDCN은 ChaLearn FAS 챌린지 2020의 다중 모달 트랙에서 1.02% ± 0.59% ACER를 기록하여 1등을 차지했다.
• 단일 모달(RGB) 트랙에서는 4.84% ± 1.79% ACER를 기록하여 2등을 차지했으며, 이는 단일 모달 설정에서도 뛰어난 성능을 보임을 입증했다.
• 깊이 모달리티는 모든 프로토콜에서 가장 일관된 성능를 보였으며, 특히 프린트 공격 탐지 및 민족 간 일반화 능력에서 뛰어났다.
• 적외선 모달리티는 프로토콜 4@1(아프리카 제외)에서는 가장 우수한 성능를 보였지만, 프로토콜 4@2 및 4@3(아프리카 포함)에서는 성능이 떨어져 예측되지 않은 민족적 배경에 대한 일반화 능력이 제한적이었다.
• 세 모달리티를 모두 포함한 특징 수준 융합은 프로토콜 4@1에서 최저 ACER(0.42%)를 기록했으며, 개별 모달리티 및 단순 융합 방법보다 뛰어난 성능를 보였다.
• 점수 수준 융합(0.5 × RGB + 0.5 × 깊이)은 단일 깊이 모달리티 대비 프로토콜 4@2 및 4@3에서 각각 0.54% 및 1.13%의 ACER 향상을 기록했으며, 앙상블 전략의 유용성을 확인했다.