[논문 리뷰] Learn Convolutional Neural Network for Face Anti-Spoofing

Jianwei Yang, Zhen Lei외 1명|arXiv (Cornell University)|2014. 08. 24.

Biometric Identification and Security참고 문헌 11인용 수 383

한 줄 요약

이 논문은 얼굴 생체인식 방지 기술을 위한 깊이 합성곱 신경망(CNN)을 제안하여 기존의 수작업으로 설계된 특징(LBP, LBP-TOP 등)보다 더 구별력 있는 특징을 자동으로 학습한다. CASIA 및 REPLAY-ATTACK 데이터셋에서 반총오차율(HTER)이 70% 이상 감소하였으며, 최적 설정 조건에서 REPLAY-ATTACK 데이터셋의 HTER는 1% 미만으로 떨어져, 다양한 데이터셋 간에 강력한 일반화 능력과 강인성을 입증한다.

ABSTRACT

Though having achieved some progresses, the hand-crafted texture features, e.g., LBP [23], LBP-TOP [11] are still unable to capture the most discriminative cues between genuine and fake faces. In this paper, instead of designing feature by ourselves, we rely on the deep convolutional neural network (CNN) to learn features of high discriminative ability in a supervised manner. Combined with some data pre-processing, the face anti-spoofing performance improves drastically. In the experiments, over 70% relative decrease of Half Total Error Rate (HTER) is achieved on two challenging datasets, CASIA [36] and REPLAY-ATTACK [7] compared with the state-of-the-art. Meanwhile, the experimental results from inter-tests between two datasets indicates CNN can obtain features with better generalization ability. Moreover, the nets trained using combined data from two datasets have less biases between two datasets.

연구 동기 및 목표

• 얼굴 생체인식 방지에서 수작업으로 설계된 텍스처 특징(LBP, LBP-TOP 등)의 일반화 능력과 구별력의 한계를 해결한다.
• 딥 러닝, 특히 CNN을 통해 원시 얼굴 이미지에서 더 강인하고 구별력 있는 특징을 자동으로 학습할 잠재력을 탐색한다.
• 데이터 기반 특징 학습을 통해 다양한 유형의 위조 공격(인쇄, 재생, 마스크 등)에 대한 생체인식 방지 성능을 향상시킨다.
• 특히 이종 데이터셋 간 테스트 환경에서 CNN의 일반화 능력을 조사한다.
• 다양한 출처(예: CASIA 및 REPLAY-ATTACK)의 데이터를 병합하여 학습함으로써 데이터셋 특화 편향을 줄인다.

제안 방법

• 얼굴 이미지에서 직접 계층적이고 구별력 있는 특징을 학습하기 위해 지도 학습 기반의 깊이 합성곱 신경망(CNN)을 적용하여 수작업 특징 설계를 대체한다.
• 랜덤 크롭, 플립, 프레임 샘플링 등을 포함한 공간적 및 시간적 데이터 증강 전략을 적용하여 훈련 다양성과 강인성을 향상시킨다.
• CASIA 및 REPLAY-ATTACK 데이터셋 각각과 병합된 데이터로 CNN을 훈련시어 일반화 능력과 도메인 이동 강인성을 평가한다.
• 입력 이미지를 다양한 해상도로 스케일링하는 스케일 증강을 통해 특징 학습 능력과 모델 안정성을 향상시킨다.
• 내부 데이터셋, 이종 데이터셋, 병합 훈련 프로토콜을 기반으로 반총오차율(HTER)을 사용해 성능을 평가한다.
• 입력 이미지의 배경 영역을 추가적 단서로 활용한다. 이는 진짜 얼굴와 위조 얼굴를 구별하는 데 기여하기 때문이다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망(CNN)이 다양한 데이터셋에서 기존의 수작업 특징(LBP, LBP-TOP 등)보다 얼굴 생체인식 방지 성능에서 뛰어난가?
• RQ2 조명, 배경, 위조 방법 등 다양한 수집 조건을 가진 다른 데이터셋 간에 CNN의 일반화 능력은 어느 정도인가?
• RQ3 특히 공간적 및 시간적 변환을 포함한 데이터 증강 기법이 CNN 기반 생체인식 방지 모델의 강인성과 성능 향상에 어떤 기여를 하는가?
• RQ4 다양한 데이터셋의 훈련 데이터를 병합하면 도메인 편향이 감소하고 이종 데이터셋 간 일반화 능력이 향상되는가?
• RQ5 CNN은 위조 유형에 대해 불변성을 가지면서도, 진짜와 위조 얼굴 간 미세한 차이를 감지하는 데 민감한 특징을 학습할 수 있는가?

주요 결과

• 제안된 CNN 기반 방법은 최신 수작업 특징 대비 CASIA 및 REPLAY-ATTACK 데이터셋에서 반총오차율(HTER)이 70% 이상 감소하였다.
• REPLAY-ATTACK 데이터셋에서 입력 스케일을 4 또는 5로 설정할 경우 평균 HTER가 1% 이하로 떨어져 최적 설정 조건에서 거의 완벽한 성능을 보였다.
• 이종 데이터셋 테스트에서 기존 방법 대비 CNN 모델이 훨씬 뛰어난 일반화 능력을 보였으며, 데이터셋 간 성능 저하가 최소한이었다.
• CASIA 및 REPLAY-ATTACK 데이터를 병합해 훈련한 모델는 편향이 감소했고 내부 데이터셋 모델와 유사한 성능을 보였으며, 강력한 이종 데이터셋 간 일반화 능력을 확인하였다.
• 특징 학습에 가장 적합한 스케일은 데이터셋에 따라 달랐다. CASIA는 스케일 3, REPLAY-ATTACK는 스케일 5가 최적 이었다. 이는 배경 구성(진짜 대비 위조 배경)의 차이 때문이었다.
• 배경 영역은 위조 탐지에 의미 있는 기여를 하였으며, 특히 CNN가 학습한 특징을 사용할 경우 배경 정보가 유용한 단서로 작용함을 시사한다.