[논문 리뷰] Aurora Guard: Reliable Face Anti-Spoofing via Mobile Lighting System

Jian Zhang, Ying Tai외 7명|arXiv (Cornell University)|2021. 02. 01.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 11

한 줄 요약

Aurora Guard는 추가 센서 없이 모바일 기기에서 RGB 프레임에서 깊이 및 재질 맵를 동적 조명과 반사 분석을 통해 추출하는 저비용, 실시간 얼굴 위조 방지 시스템을 제안한다. 빛 CAPTCHA를 활용한 일관성 검증과 분리된 특징 학습을 위한 다중 작업 CNN을 통해 공개 및 대규모 비공개 데이터셋에서 최신 기술 수준의 성능을 달성하며, 하드웨어에 의존하는 방법들을 능가한다.

ABSTRACT

Face authentication on mobile end has been widely applied in various scenarios. Despite the increasing reliability of cutting-edge face authentication/verification systems to variations like blinking eye and subtle facial expression, anti-spoofing against high-resolution rendering replay of paper photos or digital videos retains as an open problem. In this paper, we propose a simple yet effective face anti-spoofing system, termed Aurora Guard (AG). Our system firstly extracts the normal cues via light reflection analysis, and then adopts an end-to-end trainable multi-task Convolutional Neural Network (CNN) to accurately recover subjects' intrinsic depth and material map to assist liveness classification, along with the light CAPTCHA checking mechanism in the regression branch to further improve the system reliability. Experiments on public Replay-Attack and CASIA datasets demonstrate the merits of our proposed method over the state-of-the-arts. We also conduct extensive experiments on a large-scale dataset containing 12,000 live and diverse spoofing samples, which further validates the generalization ability of our method in the wild.

연구 동기 및 목표

• 특수 깊이 센서에 의존하지 않고 모바일 환경에서 신뢰할 수 있는 얼굴 위조 방지 기능을 제공하는 데에 도전한다.
• 단일 모바일 조명 소스만을 사용하여 2D 및 3D 제시 공격에 대한 일반화 능력을 향상시킨다.
• 스마트폰 및 임베디드 장치에 실질적으로 구현 가능한 비용이 들지 않고 이식성 있고 효율적인 시스템을 개발한다.
• 예측된 조명 파rameter와 실제 조명 파rameter 간의 일관성 검증을 통해 새로운 빛 CAPTCHA 메커니즘을 통해 시스템의 신뢰성을 향상시킨다.

제안 방법

• 시스템은 얼굴에 변화하는 조명 패턴을 투사하는 동적이고 랜덤화된 조명 소스(빛 CAPTCHA)를 사용하여 분석을 위한 반사 프레임을 생성한다.
• 정규화된 특징는 연속된 두 개의 반사 프레임 간의 픽셀 단위 차분을 통해 추출되며, 이는 깊이 및 재질 정보를 포함한다.
• 공유 인코더가 정규화된 특징를 처리한 후, 다중 작업 학습 프레임워크 내에서 깊이 및 재질 맵를 별도의 디코더로 회귀한다.
• 분류 분지는 인코더의 통합 특징와 분리된 맵를 사용하여 생존성 검출을 수행한다.
• 회귀 분지는 빛 CAPTCHA 파arameter를 추정하여 실제 조명 시퀀스와의 일관성 검증을 통해 모odal 위조 탐지를 가능하게 한다.
• 전체 파이프라인은 엔드 투 엔드로 훈련 가능하며, 모바일 및 임베디드 플랫폼에서 실시간 추론을 최적화한다.

실험 결과

연구 질문

• RQ1 단일 모바일 조명 소스만을 사용하여 RGB 반사 프레임에서 깊이 및 재질 맵를 신뢰성 있게 복원할 수 있는가?
• RQ2 분리된 깊이 및 재질 특징는 2D 및 3D 위조 공격에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ3 추가 하드웨어 없이도 빛 CAPTCHA 메커니즘이 모달 위조에 대한 시스템 강건성을 향상시킬 수 있는가?
• RQ4 실생활 환경에서 소프트웨어 전용 위조 방지 시스템의 성능은 하드웨어 기반 3D 센싱 솔루션과 비교해 어떻게 되는가?

주요 결과

• Replay-Attack 데이터셋에서 Aurora Guard는 FAR 0.02%를 기록하여 이전 방법들인 SURF(0.10%) 및 Deep LBP(0.10%)를 크게 앞서며 뛰어난 성능을 보였다.
• CASIA 데이터셋에서 Aurora Guard는 FAR 0.75%를 달성하여 다음으로 우수한 방법인 Patch-Depth CNNs(2.67%)를 뛰어넘었다.
• Aurora Guard의 깊이 복원 성능는 Intel 3D 카메라 수준과 경쟁 가능하며, 깊이 복원에서 낮은 RMSE(log) 및 높은 δ<1.25 지표를 확보했다.
• 재질 맵 복원은 종이 및 스크린 마스크와 같은 3D 공격를 효과적으로 탐지할 수 있게 하며, 시각화 결과는 실제 얼굴와의 명확한 구분을 보였다.
• 모바일 CPU에서의 추론 시간은 효율적이며, 여러 SOTA 방법들을 능가하여 현장 내 장치에의 실시간 구현 가능성을 확인했다.
• 피팅 조정 없이도 다양한 데이터셋에 대해 잘 일반화되어 있어, 실생활 시나리오에서 강력한 강건성과 이식성을 입증했다.