[논문 리뷰] Creating Artificial Modalities to Solve RGB Liveness

Aleksandr Parkin, Oleg Grinchuk|arXiv (Cornell University)|2020. 06. 29.

Biometric Identification and Security참고 문헌 1인용 수 5

한 줄 요약

이 논문은 비디오 시퀀스에서 순위 풀링과 광학 흐름을 이용해 인위적인 모odalities(모드)를 생성함으로써, 미리 보지 못한 공격 및 민족적 배경에 대해 더 강건한 성능을 내는 RGB 전용 얼굴 위조 방지 방법을 제안한다. 순차적 증강 기법을 적용하고 경량 네트워크를 통해 이러한 인위적 특징을 융합함으로써, CASIA-SURF CeFA 데이터셋에서 2.72%의 ACER를 기록하며 기존 방법들보다 1.8배 우수한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Special cameras that provide useful features for face anti-spoofing are desirable, but not always an option. In this work we propose a method to utilize the difference in dynamic appearance between bona fide and spoof samples by creating artificial modalities from RGB videos. We introduce two types of artificial transforms: rank pooling and optical flow, combined in end-to-end pipeline for spoof detection. We demonstrate that using intermediate representations that contain less identity and fine-grained features increase model robustness to unseen attacks as well as to unseen ethnicities. The proposed method achieves state-of-the-art on the largest cross-ethnicity face anti-spoofing dataset CASIA-SURF CeFA (RGB).

연구 동기 및 목표

• 적외선 또는 깊이 센서와 같은 추가 센서가 이용 불가능한 실세계 환경에서 RGB 전용 얼굴 위조 방지 문제를 해결한다.
• 신원 및 세밀한 특징에 대한 과적합을 줄임으로써, 미리 보지 못한 공격 유형과 민족적 배경에 대한 모델 일반화 능력을 향상시킨다.
• 특수 하드웨어에 의존하지 않고, 진정한 얼굴 영상와 위조 영상 간의 동적 외관 차이를 활용하는 강건한 종단 간 파이프라인을 개발한다.
• 비디오 시퀀스에서 파생된 인위적 모달리티가 물리적 다중 모달 센서의 효과적인 대체 수 Mittel이 될 수 있음을 입증한다.

제안 방법

• 신원 특징을 억제하면서 동적 외관 특징을 추출하기 위해 두 가지 정규화 수준(C=1000 및 C=1)을 가진 순위 풀링을 사용하여 RGB 비디오 트랙에서 인위적 모달리티를 생성한다.
• 핵심 프레임(예: 첫 번째 및 마지막 프레임, 첫 번째 및 두 번째 프레임) 간의 광학 흐름 표현을 생성하여 진정한 얼굴 움직임과 위조된 움직임 간의 운동 차이를 강조한다.
• 모든 프레임을 무작위로 선택한 하나의 프레임(위조 레이블)으로 대체함으로써 순차적 증강을 적용하여 위조 샘플의 다양성을 증가시키고 일반화 능력을 향상시킨다.
• 랜덤 회전, 색상 왜곡, 이미지 이동 등의 데이터 증강 기법을 사용하여 모달리티 붕괴를 방지하고 강건성을 향상시킨다.
• 4개의 합성곱 블록과 최종 5×5 합성곱을 갖는 단순한 얕은 신경망(SimpleNet)을 사용하여 다수의 인위적 모달리티를 하나의 예측으로 융합한다.
• 배치 크기가 32이고 GPU 메모리가 1.5GB인 환경에서 Adam 옵timizer를 사용해 엔드 투 엔드로 모델을 훈련하며, 각 프로토콜당 1시간 내에 수렴한다.

실험 결과

연구 질문

• RQ1 RGB 비디오 시퀀스에서 유도된 인위적 모달리티가 얼굴 위조 방지에서 물리적 다중 모달 센서의 효과적인 대체가 될 수 있는가?
• RQ2 순위 풀링 정규화 수준의 차이가 미리 보지 못한 공격 및 민족적 배경에 대한 모델 일반화에 어떤 영향을 미치는가?
• RQ3 인위적 모달리티 추출과 함께 순차적 증강이 RGB 전용 위조 방지에서 얼마나 강건성을 향상시키는가?
• RQ4 RGB 비디오 시퀀스에서 유도된 광학 흐름이 진정한 얼굴 표현과 위조 표현을 구분하는 데 충분한 동적 정보를 포착하는가?
• RQ5 단순한 경량 종단 간 융합 네트워크가 인위적 모달리티와 표준 데이터 증강 기법만을 사용해 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 CASIA-SURF CeFA 데이터셋에서 2.72%의 ACER를 기록하여 새로운 최신 기술 수준을 수립하였으며, 2위 방법보다 1.8배 뛰어난 성능을 보였다.
• C=1000으로 설정한 순위 풀링을 사용함으로써 ACER가 베이스라인(23.42%)에서 12.68%로 감소하여 세밀한 특징 억제의 유용성을 입증했다.
• 순차적 증강만으로도 ACER가 7.3%로 감소하여 일반화 능력 향상에 기여하는 바가 크며, 특히 데이터 증강과 조합했을 때 효과가 뚜렷했다.
• 광학 흐름을 파이프라인에 추가함으로써 ACER는 2.72%로 추가로 감소하였고, APCER는 0.11%에 그쳐 정적 위조 공격에 대한 강력한 탐지 능력을 보였다.
• BPCER는 5.33%를 기록하여, 특히 미니멀한 모방 행동을 보이는 피험자에서 진정한 영상의 미세한 얼굴 운동이 여전히 도전 과제임을 시사했다.
• 인위적 모달리티와 순차적 증강의 조합은 미리 보지 못한 공격 유형과 민족적 배경에 대한 강건성을 크게 향상시켰으며, 본 연구의 核심 가설을 검증했다.