[논문 리뷰] Exploring Hypergraph Representation on Face Anti-spoofing Beyond 2D Attacks

Wei Hu, Gusi Te외 3명|arXiv (Cornell University)|2018. 11. 28.

Biometric Identification and Security참고 문헌 30인용 수 4

한 줄 요약

이 논문은 3D 얼굴 위조 방지에 대해 고차원 얼굴 키포인트의 압축된 하이퍼그래프 표현을 사용하여 자세에 영향을 받지 않는 계산 효율적인 특징 학습을 가능하게 하는 하이퍼그래프 컨volution 신경망(HGCNN)을 제안한다. RGB 및 깊이 모odalities를 하이퍼그래프 컨볼루션과 깊이 보조 감독을 통해 활용함으로써, 2D 및 3D 위조 방지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 색상, 깊이, 적외선 데이터를 포함하는 새로운 3D 얼굴 공격 데이터베이스를 포함한다.

ABSTRACT

Face anti-spoofing plays a crucial role in protecting face recognition systems from various attacks. Previous model-based and deep learning approaches achieve satisfactory performance for 2D face spoofs, but remain limited for more advanced 3D attacks such as vivid masks. In this paper, we address 3D face anti-spoofing via the proposed Hypergraph Convolutional Neural Networks (HGCNN). Firstly, we construct a computation-efficient and posture-invariant face representation with only a few key points on hypergraphs. The hypergraph representation is then fed into the designed HGCNN with hypergraph convolution for feature extraction, while the depth auxiliary is also exploited for 3D mask anti-spoofing. Further, we build a 3D face attack database with color, depth and infrared light information to overcome the deficiency of 3D face anti-spoofing data. Experiments show that our method achieves the state-of-the-art performance over widely used 3D and 2D databases as well as the proposed one under various tests.

연구 동기 및 목표

• 2D 공격 탐지 기술의 진전에도 불구하고 여전히 미비하게 다뤄지고 있는 3D 마스크 공격에 대응한다.
• 기존의 2D 기반 방법과 단순한 그래프 모델이 고차원 얼굴 관계와 자세 변화를 포괄하는 데에 한계를 가진다는 점을 극복한다.
• 복잡성을 줄이면서도 분류 능력을 유지하는 유일한 키포인트를 기반으로 한 하이퍼그래프에서의 계산 효율적이고 견고한 얼굴 표현을 개발한다.
• 하이퍼그래프 컨볼루션을 통해 깊이 정보를 통합하여 점점 더 현실적으로 진화하는 3D 마스크를 효과적으로 탐지한다.
• 색상, 깊이, 적외선 데이터를 포함하는 종합적인 3D 얼굴 공격 데이터베이스를 구축하여 다양한 고품질 3D 위조 공격 데이터의 부족 문제를 해결한다.

제안 방법

• 68개의 얼굴 키포인트와 보간된 점들만을 사용하여 하이퍼그래프 표현을 구축하고, 고차원 관계를 하이퍼엣지로 모델링하여 자세 불변성을 확보한다.
• RGB 및 깊이 모달리티에서 계층적 특징을 추출하기 위해 하이퍼그래프 컨volution을 적용하는 하이퍼그래프 컨volution 신경망(HGCNN)을 설계한다.
• RGB 및 깊이 입력에 동일한 하이퍼그래프 구조를 적용하여 모달리티 특성은 유지하면서도 공동 특징 학습을 가능하게 한다.
• 하이퍼그래프 컨볼루션 이후 깊이 및 RGB 특징을 융합하고, 깊이 정보를 보조 신호로 사용하여 3D 마스크 탐지 성능을 향상시킨다.
• RGB와 HSV 색상 공간을 활용한 다중 모달 입력 전략을 도입하여 질감 표현을 향상시키고, 입력 채널 수를 6개로 늘려 더 풍부한 특징 학습을 가능하게 한다.
• 하이퍼엣지의 차수를 증가시켜 하이퍼그래프 구축을 최적화함으로써 전반적인 얼굴 패턴을 포괄하고, 희소 랜드마크링에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 하이퍼그래프 기반 표현은 자세 및 표정 변화에 영향을 받지 않으면서도 고차원 얼굴 관계를 효과적으로 모델링할 수 있는가?
• RQ2 기존의 표준 그래프 컨볼루션 대비 하이퍼그래프 컨볼루션은 얼굴 위조 방지에서 특징 학습에 얼마나 향상된 성능을 보이는가?
• RQ3 공유된 하이퍼그래프 구조를 통한 RGB 및 깊이 모달리티 융합은 3D 마스크 공격 탐지에 얼마나 효과적인가?
• RQ4 다중 스펙트럼 데이터(RGB, 깊이, IR)를 포함하는 새로 수집한 3D 얼굴 공격 데이터베이스는 실제 세계의 위조 공격에 대한 모델 일반화 능력과 성능 향상에 기여하는가?
• RQ5 제안된 방법은 2D 및 3D 공격 시나리오를 포함한 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 HGCNN는 FA3D 데이터셋에서 내부 테스트 프로토콜 1 조건 하에 0.7%의 ACER를 기록하여 기존 방법보다 3D 마스크 탐지에서 뛰어난 성능을 보였다.
• Oulu-NPU 데이터셋에서 HGCNN(RGB+HSV)는 6.4%의 ACER를 기록하여 MixedFASNet 및 GRADIANT_extra와 같은 베이스라인 방법을 능가하며 강력한 2D 위조 방지 능력을 입증했다.
• FA3D-3DMAD에서의 교차 데이터셋 테스트에서 HTER는 34.0%, EER은 43.0%를 기록하여 조명 및 깊이 변동이 있는 도메인 시프트 상황에서도 강력한 일반화 능력을 보였다.
• 시각화 결과, 하이퍼그래프 컨볼루션 2층 이후 인접한 랜드마크(예: 눈과 입 주변) 간의 특징 거리가 크게 감소하는 것으로 나타나 특징 클러스터링이 향상됨을 확인했다.
• 깊이 보조 신호가 3D 마스크 공격 탐지 성능 향상에 기여하며, 제거 실험을 통해 고해상도 3D 마스크와 실제 얼굴을 구분하는 데 핵심적인 역할을 함을 확인했다.
• FA3D에서 주체 변동 조건 하에 99.6%의 정확도와 0.5%의 HTER를 기록하여 주체 수준의 다양성에 대해 뛰어난 강건성을 입증했다.