[논문 리뷰] Can Your Face Detector Do Anti-spoofing? Face Presentation Attack Detection with a Multi-Channel Face Detector

Anjith George, Sébastien Marcel|arXiv (Cornell University)|2020. 06. 30.

Biometric Identification and Security참고 문헌 28인용 수 4

한 줄 요약

이 논문은 단일 소비자용 카메라에서 얻은 RGB, 깊이, 적외선 데이터를 사용하여 얼굴을 동시에 국소화하고 제시 공격(위조)을 탐지하는 다중채널 얼굴 검출기를 제안한다. 단일 단계 객체 검출기(RetinaNet)를 재학습하여 진정성 있는 얼굴과 공격을 분류함으로써 별도의 PAD 모듈이 필요 없게 되었으며, WMCA 데이터셋에서 최신 기술 수준의 성능을 달성했고, 중요한 저오류 영역에서 더 낮은 BPCER를 기록했다.

ABSTRACT

In a typical face recognition pipeline, the task of the face detector is to localize the face region. However, the face detector localizes regions that look like a face, irrespective of the liveliness of the face, which makes the entire system susceptible to presentation attacks. In this work, we try to reformulate the task of the face detector to detect real faces, thus eliminating the threat of presentation attacks. While this task could be challenging with visible spectrum images alone, we leverage the multi-channel information available from off the shelf devices (such as color, depth, and infrared channels) to design a multi-channel face detector. The proposed system can be used as a live-face detector obviating the need for a separate presentation attack detection module, making the system reliable in practice without any additional computational overhead. The main idea is to leverage a single-stage object detection framework, with a joint representation obtained from different channels for the PAD task. We have evaluated our approach in the multi-channel WMCA dataset containing a wide variety of attacks to show the effectiveness of the proposed framework.

연구 동기 및 목표

• 사진, 영상 등으로 인한 제시 공격에 취약한 얼굴 인식 시스템의 문제를 해결하기 위해 반위조 기능을 얼굴 검출 단계에 직접 통합한다.
• RGB, 깊이, 적외선 등의 다중채널 데이터를 통합된 얼굴 검출 프레임워크에서 활용함으로써 별도의 제시 공격 탐지(PAD) 모듈이 필요 없도록 한다.
• 표준 얼굴 검출기 대신 다중채널 검출기를 도입하여 얼굴 인식 파이프라인의 계산 중복을 줄인다.
• 배경 정보를 활용하고 포화 손실(focal loss)을 통한 어려운 음성 샘플 마이닝을 통해 다양한 공격 유형(2D, 3D, 부분 공격 등)에 대한 강건성을 향상시킨다.

제안 방법

• 소비자용 카메라(인텔 리얼센스 SR300)에서 얻은 색상, 깊이, 적외선의 복합 다중채널 입력을 사용해 단일 단계 RetinaNet 기반 객체 검출기를 학습한다.
• 얼굴 검출 작업을 '진정성 있는 얼굴' 또는 '제시 공격(비얼굴)'으로 분류하는 것으로 재정의함으로써, 동시에 국소화와 반위조 기능을 수행한다.
• 한정된 공격 데이터로 학습할 때 일반화 성능을 향상시키기 위해 어려운 음성 샘플(예: 현실적인 위조 이미지)에 집중하는 포화 손실을 적용한다.
• 유연한 학습 모드를 지원: 단일 클래스(진정성 있는 얼굴만), 이중 클래스(진정성 있는 얼굴 대비 공격), 또는 다중 클래스(공격 유형 레이블 포함)로, 데이터 가용성에 따라 조정 가능하다.
• 전체 이미지 배경을 음성 샘플로 활용하여 얼굴 영역 외부의 맥락 정보를 활용함으로써 강건성을 향상시킨다.
• RGB-D 환경에 적합하게 OpenCV AI Kit(OAK-D) 또는 Kinect를 사용해 입력에서 RGB와 깊이 채널을 스택할 수 있다.

실험 결과

연구 질문

• RQ1 다중채널 얼굴 검출기를 효과적으로 재학습하여 제시 공격을 탐지하면서도 정확한 얼굴 국소화 성능을 유지할 수 있는가?
• RQ2 별도의 PAD 모듈 대비 얼굴 검출 단계에 PAD를 통합함으로써 파이프라인의 중복성과 계산 오버헤드를 줄일 수 있는가?
• RQ3 저비용 센서를 사용해 실제 환경에서 다양한 공격 유형(2D, 3D, 부분 공격 등)에 대해 제안된 방법의 성능은 어떠한가?
• RQ4 공격 데이터가 많지 않을 때도 배경 패치를 음성 샘플로 사용하면 탐지 강건성이 향상되는가?
• RQ5 제한된 공격 샘플만으로도 포화 손실 학습이 어려운 예시(예: 현실적인 위조 공격)에서 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 WMCA 데이터셋에서 최신 기술 수준의 CNN 기반 및 특징 기반 PAD 방법보다 뛰어난 성능을 보였으며, 특히 BPCER이 낮은 영역(α ≤ 0.5)에서 두각을 나타냈다.
• EPC 곡선은 중요한 저오류 영역에서 뛰어난 성능을 보이며, 실질적 구현에 있어 강건성과 신뢰성을 입증했다.
• 표준 얼굴 검출기 대체로 사용되므로 추가 계산 비용 없이도 높은 탐지 정확도를 달성했다.
• 진정성 있는 얼굴 샘플만으로 학습하고 배경을 음성 샘플로 활용함으로써 강력한 성능을 기록했으며, 데이터가 적은 환경에서도 가능성을 입증했다.
• RGB, 깊이, 적외선 등의 다중채널 데이터 사용은 단일 스펙트럼 방법 대비 진짜 얼굴과 위조 공격 간의 구분 능력을 크게 향상시켰다.
• Intel RealSense SR300, OAK-D 등의 저비용 소비자 하드웨어에서도 배포가 가능하여 실제 적용 가능성 확보