[논문 리뷰] Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing

Ying Huang, Wenwei Zhang외 1명|arXiv (Cornell University)|2020. 01. 20.

Biometric Identification and Security참고 문헌 31인용 수 11

한 줄 요약

이 논문은 스펙트럼, 공간, 시간적 특징을 동시에 활용하여 얼굴 위조 방지 성능을 향상시키는 두 개의 스트림을 갖춘 딥 신경망인 FreqSpatialTempNet을 제안한다. 다중 프레임 스펙트럼 영상을 입력으로 사용하고 깊이 지도를 보조로 활용함으로써 살아있는 얼굴과 위조된 얼굴을 더 잘 구분할 수 있도록 모델을 개선하였으며, 새로운 데이터 합성 파이프라인을 통해 대규모 위조 학습 데이터를 생성함으로써 교차 데이터셋 기준에서 일반화 능력이 크게 향상되었다.

ABSTRACT

Face anti-spoofing is crucial for the security of face recognition system, by avoiding invaded with presentation attack. Previous works have shown the effectiveness of using depth and temporal supervision for this task. However, depth supervision is often considered only in a single frame, and temporal supervision is explored by utilizing certain signals which is not robust to the change of scenes. In this work, motivated by two stream ConvNets, we propose a novel two stream FreqSaptialTemporalNet for face anti-spoofing which simultaneously takes advantage of frequent, spatial and temporal information. Compared with existing methods which mine spoofing cues in multi-frame RGB image, we make multi-frame spectrum image as one input stream for the discriminative deep neural network, encouraging the primary difference between live and fake video to be automatically unearthed. Extensive experiments show promising improvement results using the proposed architecture. Meanwhile, we proposed a concise method to obtain a large amount of spoofing training data by utilizing a frequent augmentation pipeline, which contributes detail visualization between live and fake images as well as data insufficiency issue when training large networks.

연구 동기 및 목표

• 얼굴 위조 방지에서 희소하고 다양성이 부족한 위조 학습 데이터 문제를 해결하기 위해.
• 다중 프레임 스펙트럼 영상을 입력으로 활용하여 저수준의 특징을 유지함으로써 위조 탐지에 유리한 조건을 조성하고 모델의 일반화 능력을 향상시키기 위해.
• RGB만 또는 깊이 정보만을 사용하는 기존 접근 방식의 한계를 극복하기 위해 주파수, 공간, 시간 정보를 통합한 딥 러닝 아키텍처를 제안하기 위해.
• 위조 특징을 실제 얼굴로 이식할 수 있는 확장 가능한 데이터 합성 기법을 개발하여 대규모 학습 데이터 생성을 가능하게 하기 위해.
• 실제 운영 환경을 반영한 교차 데이터셋 평가에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 다중 프레임 스펙트럼 영상을 처리하여 저수준의 위조 특징을 유지하는 스트림과 RGB 영상으로 고수준 특징을 학습하는 스트림을 갖춘 두 개의 스트림 FreqSpatialTempNet 아키텍처를 제안한다.
• 위조 공격를 구분하기 위한 강력한 공간적 특징 학습을 유도하기 위해 깊이 영상을 보조 지도 신호로 활용한다.
• 실제 위조 영상의 주파수 도메인 블록을 살아있는 얼굴 영상의 해당 블록으로 대체하는 주파수 도메인 데이터 증강 기법을 적용하여 현실적인 위조 유사 학습 샘플을 생성한다.
• 스펙트럼 스트림에서 원래의 저수준 픽셀 수준 정보를 유지함으로써 미세한 위조 악성 징후(예: 모리레 패턴)가 보존되고 분류기로 전달되도록 보장한다.
• 교차 엔트로피 손실에 깊이 맵의 보조 지도를 추가하여 특징의 구분 능력을 향상시키기 위해 엔드 투 엔드로 모델을 훈련시킨다.
• 실제 운영 환경을 반영하기 위해 교차 데이터셋 테스트 프로토콜을 적용하여 일반화 능력을 평가한다. OULU-NPU에서 훈련하고 SiW에서 테스트하며, 반대로도 수행하여 실제 환경을 모의한다.

실험 결과

연구 질문

• RQ1 RGB만을 사용하는 경우에 비해 다중 프레임 스펙트럼 영상이 미세한 위조 악성 징후 탐지에 유리한가?
• RQ2 주파수 도메인 특징과 공간, 시간적 지도를 통합함으로써 다양한 위조 공격에 대한 모델의 일반화 능력이 향상되는가?
• RQ3 주파수 도메인 기반 데이터 합성 기법이 실제 위조 샘플이 부족한 상황에서도 깊이 신경망을 효과적으로 학습시킬 수 있는 현실적인 위조 샘플을 생성할 수 있는가?
• RQ4 훈련 데이터와 테스트 데이터가 서로 다른 출처에서 온 교차 데이터셋 평가에서 제안된 방법의 성능은 어떠한가?
• RQ5 깊이 지도의 통합이 조명 변화나 공격 유형의 다양성에 대한 모델의 강건성 향상에 어느 정도 기여하는가?

주요 결과

• OULU-NPU 데이터셋에서 제안된 방법은 교차 테스트 프로토콜 2에서 ACER 7.8%를 기록하여 베이스라인인 AuxNet(14.1%)을 능가하며 강력한 일반화 능력을 입증하였다.
• SiW 데이터셋에서 OULU-NPU와 합성 데이터로 훈련한 모델은 교차 테스트 조건에서 ACER 0.71%를 달성하였으며, 이는 Temporal-Depth 방법의 내부 테스트 결과(0.15±0.14)를 초월하는 성능이다.
• 합성 데이터를 사용함으로써 SiW 프로토콜 1에서 ACER가 7.28%에서 0.71%로 감소하여, 합성 데이터가 모델의 강건성과 일반화 능력을 효과적으로 향상시킨다는 것을 입증하였다.
• 시각화 결과는 합성 이미지가 국소 영역에서 위조 전용 악성 징후(예: 모리레 패턴)를 유지하면서도 원래의 정체성을 그대로 보존하고 있음을 확인하였으며, 이는 모델이 구분 가능한 위조 특징을 효과적으로 학습할 수 있음을 시사한다.
• SiW와 OULU-NPU의 세 가지 프로토콜 모두에서 최신 기술 수준의 성능을 달성하였으며, 기존 방법보다 교차 데이터셋 평가에서 더 낮은 ACER를 기록하여 뛰어난 일반화 능력을 입증하였다.
• 주파수 도메인 기반 데이터 합성 기법은 위조 특징을 실제 얼굴로 성공적으로 이식하여, 실제 위조 샘플이 필요 없이도 확장 가능한 데이터 생성이 가능함을 입증하였다.