[논문 리뷰] Taming Self-Supervised Learning for Presentation Attack Detection: In-Image De-Folding and Out-of-Image De-Mixing.

Haozhe Liu, Zhe Kong외 4명|arXiv (Cornell University)|2021. 09. 09.

Digital Media Forensic Detection참고 문헌 46인용 수 4

한 줄 요약

이 논문은 알려지지 않은 제시 공격 장치(PAIs)에 대한 일반화 능력을 향상시키기 위해 이미지 내 탈접기(de-folding, 사이클 일관성에 기반한 국소적 특징 학습)와 이미지 외 탈혼합(de-mixing, 위상 일관성에 기반한 전역적 인스턴스별 특징 학습)을 사용하는 자기지도 학습 방법인 IF-OM을 제안한다. CASIA-FASD 및 Idiap Replay-Attack에서 훈련된 경우 OULU-NPU와 MSU-MFSD에서 18.60%의 EER을 기록하며, 기존 방법 대비 EER 감소율 9.54%를 기록한다.

ABSTRACT

Biometric systems are vulnerable to the Presentation Attacks (PA) performed using various Presentation Attack Instruments (PAIs). Even though there are numerous Presentation Attack Detection (PAD) techniques based on both deep learning and hand-crafted features, the generalization of PAD for unknown PAI is still a challenging problem. The common problem with existing deep learning-based PAD techniques is that they may struggle with local optima, resulting in weak generalization against different PAs. In this work, we propose to use self-supervised learning to find a reasonable initialization against local trap, so as to improve the generalization ability in detecting PAs on the biometric system.The proposed method, denoted as IF-OM, is based on a global-local view coupled with De-Folding and De-Mixing to derive the task-specific representation for PAD.During De-Folding, the proposed technique will learn region-specific features to represent samples in a local pattern by explicitly maximizing cycle consistency. While, De-Mixing drives detectors to obtain the instance-specific features with global information for more comprehensive representation by maximizing topological consistency. Extensive experimental results show that the proposed method can achieve significant improvements in terms of both face and fingerprint PAD in more complicated and hybrid datasets, when compared with the state-of-the-art methods. Specifically, when training in CASIA-FASD and Idiap Replay-Attack, the proposed method can achieve 18.60% Equal Error Rate (EER) in OULU-NPU and MSU-MFSD, exceeding baseline performance by 9.54%. Code will be made publicly available.

연구 동기 및 목표

• 알려지지 않은 제시 공격 장치(PAIs)에 대한 제시 공격 탐지(PAD)의 일반화 문제를 해결한다.
• 딥 러닝 기반 PAD 방법이 종종 국소 최적점에 갇혀 일반화 성능이 저하되는 한계를 극복한다.
• 나쁜 국소 최소값을 피하기 위해 자기지도 미리 학습을 활용해 PAD의 표현 학습을 향상시킨다.
• 국소(영역별) 및 전역(인스턴스별) 특징을 모두 포괄하는 통합 프레임워크를 개발하여 강력한 PAD를 달성한다.
• 복잡하고 하이브리드된 데이터셋, 특히 OULU-NPU와 MSU-MFSD에서 교차 데이터셋 평가 조건에서도 뛰어난 성능을 입증한다.

제안 방법

• 이미지 내 탈접기와 이미지 외 탈혼합을 조합한 전역-국소 대비 학습 프레임워크를 제안하여 자기지도 표현 학습을 수행한다.
• 자르기 영역 간의 사이클 일관성을 최대화함으로써 탈접기를 구현하여 국소적, 영역별 특징을 학습한다.
• 다양한 증강 기법 간의 위상 일관성을 최대화함으로써 탈혼합을 구현하여 전역적, 인스턴스별 특징을 학습한다.
• 자기지도 특징를 하류 PAD 분류 작업의 강력한 초기화로 활용하여 국소 최적점의 위험을 줄인다.
• 표준 교차 엔트로피 손실을 사용하고 엔드 투 엔드 미세조정을 수행함으로써, 자기지도 특징를 기반으로 최종 PAD 분류기를 훈련한다.
• 국소 및 전역 표현을 모두 활용하여 실제 생체 인식 시스템에서 다양한 미지의 PAIs에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 탈접기와 탈혼합을 활용한 자기지도 학습이 알려지지 않은 제시 공격 장치에 대한 PAD의 일반화 능력을 향상시키는가?
• RQ2 제안된 전역-국소 대비 학습 프레임워크가 다양한 데이터셋에서 PAD에 대한 분류 가능한 특징을 얼마나 효과적으로 포착하는가?
• RQ3 자기지도 초기화가 딥 러닝 기반 PAD 모델의 국소 최적점 위험을 어느 정도 감소시키는가?
• RQ4 OULU-NPU와 MSU-MFSD에서 교차 데이터셋 평가 조건에서 IF-OM 방법은 최신 기술 PAD 방법보다 어떻게 비교되는가?
• RQ5 이미지 내 탈접기와 이미지 외 탈혼합의 조합이 기존 자기지도 또는 지도 학습 방법보다 더 나은 일반화 성능을 낼 수 있는가?

주요 결과

• 제안된 IF-OM 방법은 CASIA-FASD 및 Idiap Replay-Attack에서 훈련된 경우 OULU-NPU와 MSU-MFSD에서 18.60%의 등가오차율(EER)을 기록하며, 기존 기준 방법을 크게 능가한다.
• 기준 방법 대비 EER 감소율 9.54%포인트를 기록하여, 미지의 PAIs와 복잡한 데이터셋에 대한 강력한 일반화 능력을 입증한다.
• 이 방법은 얼굴 PAD와 지문 PAD 작업 모두에서 일관된 성능 향상을 보이며, 광범위한 적용 가능성을 시사한다.
• 사이클 일관성과 위상 일관성에 기반한 자기지도 미리 학습을 통해 국소 최적점의 위험을 감소시켜 모델의 강건성을 향상시킨다.
• 탈접기 및 탈혼합 구성 요소는 효과적으로 국소 무늬 패턴과 전역 구조적 정보를 포착하여 정확도를 향상시킨다.
• 코드는 공개되어 재현성과 자기지도 PAD 분야의 향후 연구를 지원할 것이다.