[논문 리뷰] Dual-Cross Central Difference Network for Face Anti-Spoofing

Zitong Yu, Yunxiao Qin외 3명|arXiv (Cornell University)|2021. 05. 04.

Biometric Identification and Security참고 문헌 21인용 수 13

한 줄 요약

이 논문은 얼굴 위조 방지에 대해 이중-크로스 중심 차분 합성곱 네트워크(DC-CDN)를 제안하며, 중심 기울기 특징을 수평/수직 및 대각선 방향으로 분리하여 효율성과 성능을 햖थ한 크로스 중심 차분 합성곱(C-CDC)을 도입한다. 또한 패치 교환(PE) 데이터 증강과 크로스 특징 상호작용 모듈(CFIM)을 도입하여, 여러 프로토콜에서 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 파라미터와 계산량을 감소시켰다.

ABSTRACT

Face anti-spoofing (FAS) plays a vital role in securing face recognition systems. Recently, central difference convolution (CDC) has shown its excellent representation capacity for the FAS task via leveraging local gradient features. However, aggregating central difference clues from all neighbors/directions simultaneously makes the CDC redundant and sub-optimized in the training phase. In this paper, we propose two Cross Central Difference Convolutions (C-CDC), which exploit the difference of the center and surround sparse local features from the horizontal/vertical and diagonal directions, respectively. It is interesting to find that, with only five ninth parameters and less computational cost, C-CDC even outperforms the full directional CDC. Based on these two decoupled C-CDC, a powerful Dual-Cross Central Difference Network (DC-CDN) is established with Cross Feature Interaction Modules (CFIM) for mutual relation mining and local detailed representation enhancement. Furthermore, a novel Patch Exchange (PE) augmentation strategy for FAS is proposed via simply exchanging the face patches as well as their dense labels from random samples. Thus, the augmented samples contain richer live/spoof patterns and diverse domain distributions, which benefits the intrinsic and robust feature learning. Comprehensive experiments are performed on four benchmark datasets with three testing protocols to demonstrate our state-of-the-art performance.

연구 동기 및 목표

• 전방향 중심 차분 합성곱(CDC)의 비효율성과 중복을 줄이기 위해 기울기 계산을 분리함으로써 성능 향상.
• 수평/수직 및 대각선 방향의 크로스 방향 기울기 차이를 활용하여 새로운 희소 합성곱 가족을 통해 국소 특징 표현을 향상.
• 이중 스트림 C-CDC 브랜치 간의 상호 관계를 탐색하는 데 중점을 두어 특징 학습과 구별 능력을 향상시키기 위해 크로스 특징 상호작용 모듈(CFIM)을 도입.
• 제한된 훈련 데이터에서 일반화 능력을 향상시키기 위해, 다양한 도메인 분포를 가진 혼합된 위조 패턴을 생성하는 작업에 특화된 데이터 증강 전략인 패치 교환(PE)을 설계.
• 내부 데이터셋, 교차 데이터셋, 교차 유형 테스트 프로토콜을 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능 달성.

제안 방법

• 중심 기울기 계산을 수평/수직 및 대각선 방향으로 별도로 수행하는 희소 합성곱 가족인 크로스 중심 차분 합성곱(C-CDC)을 제안하여 파라미터와 계산량을 감소.
• C-CDC(HV)와 C-CDC(DG)를 사용한 이중-크로스 중심 차분 네트워크(DC-CDN)를 설계하여 방향별 특징 학습이 가능한 두 개의 병렬 스트림을 구현.
• 학습 가능한 주의 가중치(α, β)를 사용해 두 스트림의 특징을 동적으로 융합하는 크로스 특징 상호작용 모듈(CFIM)을 도입하여 국소 세부 정보 표현을 향상.
• 랜덤 샘플 간의 얼굴 패치와 밀도 레이블을 교환하여 패치 교환(PE) 증강 기법을 개발하여 다양한 도메인 분포를 가진 혼합된 위조 패턴 생성.
• PE 증강 데이터로 DC-CDN을 훈련하여 모델이 합성된 다양한 위조 예제에서 강건한 표현을 학습할 수 있도록 활용.
• CFIM 파라미터(α, β)에 대해 학습 가능한 초기화 전략을 도입하며, 초기값을 0으로 설정한 것이 경험적으로 최적의 성능을 낳음.

실험 결과

연구 질문

• RQ1 중심 차분 기울기의 크로스 방향 구성요소(수평/수직 및 대각선)로 분리함으로써 얼굴 위조 방지에서 특징 표현의 효율성과 성능을 향상시킬 수 있는가?
• RQ2 C-CDC에서 대칭적인 희소 이웃 샘플링이 CDC의 비대칭 또는 더 빈번한 샘플링보다 성능을 더 잘 향상시키는가?
• RQ3 제안된 크로스 특징 상호작용 모듈(CFIM)이 이중 스트림 C-CDC 브랜치 간의 상호 관계를 모델링하여 국소 특징 표현을 효과적으로 향상시킬 수 있는가?
• RQ4 제안된 패치 교환(PE) 증강 전략은 아키텍처에 관계없이 일반화되며, 예측 불가능한 위조 유형과 부분 공격에 대해 강건성을 향상시키는가?
• RQ5 C-CDC와 PE를 갖춘 DC-CDN이 교차 데이터셋 및 교차 유형 평가를 포함한 여러 벤치마크 데이터셋과 테스트 프로토콜에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• C-CDC는 파라미터 수가 1/9에 불과하고 계산 비용도 감소함에도 불구하고 전체 방향 CDC보다 뛰어난 성능을 기록하여 뛰어난 효율성과 표현 능력을 입증.
• C-CDC(HV)와 C-CDC(DG) 스트림 및 CFIM 모듈을 갖춘 DC-CDN은 OULU-NPU의 프로토콜 1에서 ACER 0.5%를 달성하여 기존 방법들을 초월.
• 패치 교환(PE) 증강은 다양한 아키텍처(예: DepthNet 및 CDCN)에서 일관되게 성능 향상을 이끌어내며, 소규모 훈련 데이터(예: OULU-NPU의 프로토콜 4) 조건에서도 효과적.
• PE 증강을 적용한 모델은 부분 공격 시나리오(예: 부분 프린트)에서 위조 영역을 성공적으로 국소화하는 반면, PE 없이 훈련된 기준 모델은 이러한 패턴을 탐지하지 못함.
• CFIM에 대해 0으로 초기화한 학습 가능한 파라미터(α, β)가 최고의 성능를 낳으며, 학습 과정에서 주의 가중치(α, β)가 안정적이고 의미 있는 동역학을 보임.
• 절단 실험 결과, C-CDC에서 대칭적인 희소 샘플링이 비대칭 또는 더 빈번한 샘플링보다 효과적이며, CFIM이 특징의 구별 능력을 크게 향상시킴을 확인.