[논문 리뷰] TransRPPG: Remote Photoplethysmography Transformer for 3D Mask Face Presentation Attack Detection

Zitong Yu, Xiaobai Li외 2명|arXiv (Cornell University)|2021. 04. 15.

Non-Invasive Vital Sign Monitoring참고 문헌 37인용 수 6

한 줄 요약

이 논문은 3D 마스크 얼굴 인식 공격 탐지에 대해 얼굴 및 배경의 다중 척도 시공간 맵에서 자동으로 내재된 rPPG 기반 생존성 표현을 학습하는 경량 비전 트랜스포머 프레임워크인 TransRPPG를 제안한다. 단지 547K 파라미터와 763M FLOPs만을 사용하여 교차 데이터셋 테스트에서 98.77% AUC의 최신 기술 수준 성능을 달성한다.

ABSTRACT

3D mask face presentation attack detection (PAD) plays a vital role in securing face recognition systems from emergent 3D mask attacks. Recently, remote photoplethysmography (rPPG) has been developed as an intrinsic liveness clue for 3D mask PAD without relying on the mask appearance. However, the rPPG features for 3D mask PAD are still needed expert knowledge to design manually, which limits its further progress in the deep learning and big data era. In this letter, we propose a pure rPPG transformer (TransRPPG) framework for learning intrinsic liveness representation efficiently. At first, rPPG-based multi-scale spatial-temporal maps (MSTmap) are constructed from facial skin and background regions. Then the transformer fully mines the global relationship within MSTmaps for liveness representation, and gives a binary prediction for 3D mask detection. Comprehensive experiments are conducted on two benchmark datasets to demonstrate the efficacy of the TransRPPG on both intra- and cross-dataset testings. Our TransRPPG is lightweight and efficient (with only 547K parameters and 763M FLOPs), which is promising for mobile-level applications.

연구 동기 및 목표

• 딥 러닝과 대규모 데이터 환경에서의 진전을 저해하는 3D 마스크 얼굴 인식 공격 탐지(PAD)에서 수작업으로 설계된 rPPG 특징의 한계를 해결하기 위해.
• 전문가가 설계한 특징에 의존하지 않는 엔드 투 엔드의 데이터 기반 rPPG 표현 학습 프레임워크를 개발하기 위해.
• 비전 트랜스포머가 rPPG 신호의 전역 시공간적 관계를 모델링하는 데 있어 생존성 탐지에 얼마나 효과적인지 탐색하기 위해.
• 특히 저품질 또는 고품질 3D 마스크 공격 시나리오에서의 일반화 능력과 강건성을 향상시키기 위해.
• 최소한의 계산 비용으로 모바일 수준의 배포에 적합한 경량 아키텍처를 설계하기 위해.

제안 방법

• 다양한 얼굴 영역 관심영역(ROIs)의 원시 색상 변동 신호를 사용하여 얼굴 피부 및 배경 영역에서 다중 척도 시공간 맵(MSTmaps)을 구성한다.
• 공유된 가중치를 가진 이중 브랜치 비전 트랜스포머를 사용하여 MSTmaps에서 rPPG 및 환경 특징을 추출함으로써 얼굴 및 배경 신호의 분리된 학습을 가능하게 한다.
• Transformer 입력을 위해 구성 가능한 공간 및 시간 패치 크기(예: 3×30, 1×15 겹침)로 MSTmaps에 패치 기반 토큰화를 적용한다.
• 비전 트랜스포머 내 자기주의 주목 메커니즘을 활용하여 MSTmaps 내 장거리 의존성과 전역적 관계를 모델링함으로써 생존성 표현을 향상시킨다.
• 얼굴 및 배경 브랜치에서 각각 독립적으로 특징 학습을 이끄는 두 개의 별도의 감독 헤드와 손실 함수(\mathcal{L}_{face} 및 $π_{bg}$)를 도입한다.
• 최종 이진 예측(bonafide 대 3D 마스크 공격)을 생성하기 위해 추가 트랜스포머 레이어를 통해 통합된 특징을 정밀하게 조정한다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 신호 처리에 의존하지 않고 순수한 트랜스포머 기반 프레임워크가 3D 마스크 PAD에 효과적인 rPPG 특징을 자동으로 학습할 수 있는가?
• RQ2 MSTmap 입력의 설계(공간-시간 해상도, 패치 크기, 겹침)가 생존성 탐지에서 트랜스포머의 성능에 어떻게 영향을 미치는가?
• RQ3 배경 영역 특징이 전체 탐지 성능에 기여하는 정도는 얼마이며, 얼굴과 배경에서의 분리된 학습이 강건성을 향상시키는가?
• RQ4 데이터 품질과 공격 정밀도가 다양한 데이터셋 간에서 일반화되는 모델의 성능은 어떠한가? 특히 제한된 데이터로 학습할 경우 어떻게 되는가?
• RQ5 경량 트랜스포머 아키텍처가 최소한의 파라미터와 FLOPs로 높은 정확도를 달성하여 모바일 배포에 적합한가?

주요 결과

• TransRPPG는 교차 데이터셋 테스트(MARsV2 → 3DMAD)에서 98.77% AUC를 달성하여 뛰어난 일반화 능력을 보였다.
• 10초 영상 클립에서는 96.89% AUC, 7초 클립에서는 96.06% AUC를 기록하여 짧은 입력 시퀀스에서도 강건성을 유지함을 시사한다.
• 영상 길이가 5초 미만일 경우 AUC가 90% 이하로 떨어지며, 시간 제약이 있는 시나리오에서의 한계를 드러낸다.
• 3×30 패치 크기와 1×15 겹침 샘플링이 가장 높은 성능을 보였으며, 더 작은 또는 더 큰 설정보다 뛰어난 성능을 보였다.
• 92차원 임bedding을 가진 얕은 트랜스포머(6층)가 가장 높은 AUC(98.77%)를 기록하여 깊이가 폭보다 더 중요함을 시사한다.
• 얼굴 및 배경 MSTmaps에 대해 별도의 감독을 적용한 이중 브랜치 아키텍처는 입력을 연결한 경우보다 약 2% 높은 AUC를 기록하여 분리된 학습의 유용성을 확인한다.