[논문 리뷰] Face Anti-Spoofing Via Disentangled Representation Learning

Ke-Yue Zhang, Taiping Yao외 7명|arXiv (Cornell University)|2020. 08. 19.

Biometric Identification and Security참고 문헌 39인용 수 16

한 줄 요약

이 논문은 얼굴 생체 인식에서 위조 방지 기능을 위한 분리 표현 학습 프레임워크를 제안한다. 이는 GAN 유사 판별기와 LBP 맵 및 깊이 추정을 통한 이중 감독을 사용하여 얼굴 이미지 내에서 생존성 특징과 콘텐츠 특징을 분리한다. 자기 지율적 분리와 다중 수준 감독을 통해 더 일반화 가능한, 구분력 있는 생존성 특징 공간을 학습함으로써 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Face anti-spoofing is crucial to security of face recognition systems. Previous approaches focus on developing discriminative models based on the features extracted from images, which may be still entangled between spoof patterns and real persons. In this paper, motivated by the disentangled representation learning, we propose a novel perspective of face anti-spoofing that disentangles the liveness features and content features from images, and the liveness features is further used for classification. We also put forward a Convolutional Neural Network (CNN) architecture with the process of disentanglement and combination of low-level and high-level supervision to improve the generalization capabilities. We evaluate our method on public benchmark datasets and extensive experimental results demonstrate the effectiveness of our method against the state-of-the-art competitors. Finally, we further visualize some results to help understand the effect and advantage of disentanglement.

연구 동기 및 목표

• 기존의 얼굴 위조 방지 방법이 특징이 뒤섞여 있고 훈련 데이터에 과적합되는 데 기인한 한계를 해결하기 위해.
• 얼굴 이미지 내에서 생존성 관련 표현을 콘텐츠 관련 특징(예: 신원, 조명 등)과 분리하기 위해.
• 자기 지율적 분리와 다중 수준 감독을 통해 더 견고하고 구분력 있는 생존성 특징 공간을 학습하여 모델의 일반화 능력을 향상시키기 위해.
• 생존성 특징의 내재적 특성과 위조 유형 및 촬영 장치에 대한 의존성에 대해 조사하기 위해.
• 저수준 텍스처(LBP)와 고수준 깊이 신호를 결합한 다중 감독 프레임워크를 개발하여 생존성 표현 학습을 향상시키기 위해.

제안 방법

• 이 방법은 얼굴 이미지 표현을 두 개의 분리된 부분공간으로 분해한다: 생존성 특징(위조 관련)과 콘텐츠 특징(신원/조명 관련).
• 실제 이미지와 위조 이미지 간 특징 교환 중 생성된 이미지의 타당성을 확보하기 위해 GAN 유사 판별기를 사용한다.
• 보조 깊이 추정기로 인해 생존성 정보가 실제 및 위조 이미지 번역 간에 일관되게 전달되도록 보장한다.
• 이미지 공간과 잠재 코드 공간 양쪽에 이중 방향 복원 손실을 적용하여 일관성을 강제로 확보하고 견고한 생존성 특징을 추출한다.
• 저수준 텍스처 제약으로서 LBP 맵 감독을 도입하여 생존성 특징 공간을 정규화한다.
• 특징 공간과 이미지 공간 양쪽에 깊이 감독을 적용하며, 제거 분석 결과로 특징과 이미지에 다른 감독을 적용하는 것이 동일한 감독 설정보다 더 높은 성능을 낸다.

실험 결과

연구 질문

• RQ1 분리 표현 학습이 얼굴 이미지 내에서 생존성 관련 패tern과 콘텐츠 관련 변동을 효과적으로 분리할 수 있는가?
• RQ2 다양한 감독 방식(LBP, 깊이)이 학습된 생존성 특징의 품질과 구분력에 어떤 영향을 미치는가?
• RQ3 생존성 특징이 위조 유형(예: 종이, 스크린) 또는 촬영 장치에 얼마나 의존하는가?
• RQ4 교차 데이터셋 설정에서 분리된 생존성 특징 공간이 뒤섞인 표현보다 더 잘 일반화되는가?
• RQ5 생존성 특징의 내재적 특성은 무엇이며, 다양한 위조 방법과 장치 간에 어떻게 변화하는가?

주요 결과

• 제안된 방법은 LBP 맵과 깊이 맵의 점수 융합을 통해 OULU-NPU 프로토콜 1에서 ACER 1.25%를 달성하여 최신 기술 수준(SOTA)의 성능을 초과한다.
• LBP 맵 감독만으로도 ACER 1.56%를 기록하여 저수준 텍스처 신호가 생존성 특징 공간을 효과적으로 정규화함을 입증한다.
• LBP와 깊이 감독의 점수 융합을 통한 조합이 가장 높은 성능을 보이며 ACER 1.25%를 기록하여 두 감독 방식이 상호 보완적임을 확인한다.
• t-SNE 시각화 결과, 명시적 유형 감독 없이도 위조 유형(예: 종이 대 스크린)에 따라 생존성 특징이 명확한 클러스터를 형성한다.
• 실제 얼굴의 생존성 특징은 장치 간에 일관되지만, 위조 특징은 장치에 따라 크게 달라지며, 이는 생존성 표현에 장치 특화 아티팩트가 포착됨을 시사한다.
• 이미지 번역에서 유도된 델타 맵 분석 결과, 생존성 특징 교환은 실제 얼굴 간에 최소한의 변화를 유도하지만, 실제와 위조 이미지 간에는 크고 구분 가능한 변화를 유도함으로써, 이 방법이 위조 아티팩트에 민감함을 확인한다.