[논문 리뷰] A Comprehensive Evaluation on Multi-channel Biometric Face Presentation Attack Detection

Anjith George, David Geissbühler외 1명|arXiv (Cornell University)|2022. 02. 21.

Biometric Identification and Security인용 수 5

한 줄 요약

이 논문은 RGB, NIR, SWIR, 깊이, 열화상 등을 포함한 14가지 영상 모odal리티를 가진 종합적인 데이터셋을 사용하여 다중 채널 생체 인식 얼굴 제시 공격 탐지(PAD)를 평가한다. RGB와 SWIR 채널을 조합하면 알려진 공격과 알려지지 않은 공격—특히 가림 공격—에 대해 뛰어난 강건성을 확보하며, 저해상도 SWIR 센서도 높은 성능 유지를 보여, 최소한의 하드웨어 오버헤드로 저비용의 안전한 PAD 시스템을 구현할 수 있다.

ABSTRACT

The vulnerability against presentation attacks is a crucial problem undermining the wide-deployment of face recognition systems. Though presentation attack detection (PAD) systems try to address this problem, the lack of generalization and robustness continues to be a major concern. Several works have shown that using multi-channel PAD systems could alleviate this vulnerability and result in more robust systems. However, there is a wide selection of channels available for a PAD system such as RGB, Near Infrared, Shortwave Infrared, Depth, and Thermal sensors. Having a lot of sensors increases the cost of the system, and therefore an understanding of the performance of different sensors against a wide variety of attacks is necessary while selecting the modalities. In this work, we perform a comprehensive study to understand the effectiveness of various imaging modalities for PAD. The studies are performed on a multi-channel PAD dataset, collected with 14 different sensing modalities considering a wide range of 2D, 3D, and partial attacks. We used the multi-channel convolutional network-based architecture, which uses pixel-wise binary supervision. The model has been evaluated with different combinations of channels, and different image qualities on a variety of challenging known and unknown attack protocols. The results reveal interesting trends and can act as pointers for sensor selection for safety-critical presentation attack detection systems. The source codes and protocols to reproduce the results are made available publicly making it possible to extend this work to other architectures.

연구 동기 및 목표

• 다양한 영상 모달리티—RGB, NIR, SWIR, 깊이, 열화상—이 얼굴 제시 공격 탐지(PAD)에 미치는 영향을 다양한 유형의 공격에 대해 평가하는 것.
• 안전이 중요한 PAD 시스템에서 성능과 비용을 균형 있게 유지할 수 있는 최적의 채널 조합을 규명하는 것.
• 특히 SWIR 채널에 대해 효과적인 PAD 성능을 확보하기 위한 최소 해상도 요구 조건을 규명하는 것.
• 실제 구현에 필수적인 조건인 알려지지 않은(미지의) 공격 프로토콜에 대한 각 채널의 강건성을 평가하는 것.
• 미래 연구를 위해 공개된 다중 채널 PAD 데이터셋과 코드를 활용한 재현 가능 기준을 제공하는 것.

제안 방법

• 모델은 픽셀 단위의 이진 지도를 사용하여 실물 대조표면 얼굴 샘플을 분류하는 다중 채널 컬러리널 네트워크를 사용한다.
• 다양한 채널 조합(예: RGB, RGB-SWIR, RGB-NIR)과 여러 해상도 수준에서 실험을 수행한다.
• 모델은 네트워크의 입력 레이어에서 입력 채널을 스택하여 조합하는 초기 융합 전략을 사용하며, 이는 점수 또는 특징 수준 융합 전략보다 우수한 성능을 보인다.
• 2D, 3D, 부분 공격을 모두 포함하는 14가지 센싱 모달리티를 각 샘플에 적용한 대규모 데이터셋인 HQ-WMCA를 사용한다.
• 일반화 및 강건성 평가를 위해 알려진 공격 프로토콜과 알려지지 않은 공격 프로토콜을 모두 분석한다.
• 재현 가능성과 다른 아키텍처로의 확장성을 확보하기 위해 소스 코드와 실험 프로토콜을 공개한다.

실험 결과

연구 질문

• RQ1 얼굴 PAD에서 알려진 공격과 알려지지 않은 제시 공격에 대해 가장 높은 강건성을 확보할 수 있는 영상 모달리티 조합은 무엇인가?
• RQ2 특히 SWIR 채널의 해상도가 PAD 성능과 시스템 비용에 어떻게 영향을 미치는가?
• RQ3 왜 SWIR 채널, 특히 1450nm 파장에서 어려운 가림 공격을 탐지하는 데 뛰어난 성능을 보이는가?
• RQ4 점수 수준 또는 특징 수준 융합 대비 다중 채널 입력의 초기 융합 전략이 탐지 정확도 측면에서 어떻게 성능을 높이는가?
• RQ5 저해상도 SWIR 센서가 높은 PAD 성능을 유지할 수 있는가? 이는 실세계 시스템에 저비용 구현을 가능하게 하는가?

주요 결과

• RGB와 SWIR 채널의 조합이 모든 공격 프로토콜에서 가장 높은 성능을 기록하며, 개별 채널보다 뚜렷이 뛰어난 성능을 보인다.
• 특히 1450nm에서 SWIR 채널은 물 흡수 특성 덕분에 피부 식별 능력이 향상되어 가림 공격에 대해 뛰어난 강건성을 보인다.
• RGB-SWIR_1450nm는 전체 RGB-SWIR 융합 성능과 유사한 성능을 기록하여 단일 SWIR 파장으로도 높은 정확도를 확보할 수 있음을 시사한다.
• 모델 정확도는 매우 낮은 해상도에서만 저하되며, 이는 저해상도 SWIR 센서(예: 320x240)가 강력한 성능을 유지할 수 있음을 의미하여 하드웨어 비용을 줄일 수 있다.
• 초기 융합 전략은 점수 수준 및 특징 수준 융합 전략보다 일관되게 뛰어난 성능을 보이며, 후자 두 가지 전략은 종종 성능 저하를 초래한다.
• RGB-SWIR 조합은 알려지지 않은 공격에 대해 놀라운 일반화 능력을 보이며, 보안이 중요한 응용 분야에 이상적이다.