[논문 리뷰] FeatherNets: Convolutional Neural Networks as Light as Feather for Face Anti-spoofing

Peng Zhang, Fuhao Zou외 6명|arXiv (Cornell University)|2019. 04. 22.

Biometric Identification and Security참고 문헌 38인용 수 7

한 줄 요약

이 논문은 얼굴 위조 방지에서 특징 표현을 향상시키기 위해 글로벌 평균 풀링(Global Average Pooling)을 대체하는 스트리밍 모듈(Streaming Module)을 갖춘 초경량 CNN 아키텍처인 FeatherNets를 제안한다. 새로운 '앙상블 + 캐스케이드' 융합 전략과 새로운 다중모달 데이터셋(MMFD)을 사용하여 CVPR 2019 얼굴 위조 방지 챌린지에서 0.0013 ACER를 달성하며 최신 기술 수준(SOTA) 성능을 확보한다.

ABSTRACT

Face Anti-spoofing gains increased attentions recently in both academic and industrial fields. With the emergence of various CNN based solutions, the multi-modal(RGB, depth and IR) methods based CNN showed better performance than single modal classifiers. However, there is a need for improving the performance and reducing the complexity. Therefore, an extreme light network architecture(FeatherNet A/B) is proposed with a streaming module which fixes the weakness of Global Average Pooling and uses less parameters. Our single FeatherNet trained by depth image only, provides a higher baseline with 0.00168 ACER, 0.35M parameters and 83M FLOPS. Furthermore, a novel fusion procedure with ``ensemble + cascade'' structure is presented to satisfy the performance preferred use cases. Meanwhile, the MMFD dataset is collected to provide more attacks and diversity to gain better generalization. We use the fusion method in the Face Anti-spoofing Attack Detection Challenge@CVPR2019 and got the result of 0.0013(ACER), 0.999(TPR@FPR=10e-2), 0.998(TPR@FPR=10e-3) and 0.9814(TPR@FPR=10e-4).

연구 동기 및 목표

• 제한된 계산 자원을 가진 모바일 및 임베디드 디바이스에 효율적이고 정확한 얼굴 위조 방지 모델을 구현하는 데 도전한다.
• 2D 프레젠테이션 공격 탐지에서 분류 기능을 캡처하는 데 한계가 있는 글로벌 평균 풀링(GAP)의 한계를 극복한다.
• 깊이, 적외선(IR), RGB 등 다양한 모달리티를 활용한 새로운 '앙상블 + 캐스케이드' 융합 전략을 통해 일반화 능력과 성능을 향상시킨다.
• 강력한 모델 훈련 및 평가를 지원하기 위해 새로운 다양하고 대규모의 다중모달 얼굴 위조 방지 데이터셋(MMFD)을 제공한다.
• 단지 0.35M 파라미터와 83M FLOPS를 가진 최소한의 아키텍처를 사용해 깊이 전용 얼굴 위조 방지 모델의 성능 한계를 설정한다.

제안 방법

• 계산 비용을 최소화하기 위해 얇은 스템과 감소된 파라미터 수를 가진 초경량 CNN 아키텍처인 FeatherNet A/B를 제안한다.
• 글로벌 평균 풀링(GAP)의 대체로 스트리밍 모듈을 도입하여 수신 영역의 차이를 모델링함으로써 공간적 특징 중요도를 더 잘 캡처한다.
• 모델 이식성 향상과 계산 비용 감소를 위해 완전 연결(FC) 레이어를 제거하면서도 높은 정확도를 유지한다.
• 다양한 모달리티(깊이, IR, RGB)에서 훈련된 다수의 모델 예측을 융합하는 다단계 '앙상블 + 캐스케이드' 융합 프레임워크를 설계하여 성능을 향상시킨다.
• 새로가서 수집한 MMFD 데이터셋에서 일반화 능력을 향상시키기 위해 훈련 중 데이터 증강 알고리즘을 적용한다.
• 다양한 모델들로부터 가장 신뢰할 수 있는 예측을 동적으로 선택하기 위해 추론 단계에서 임계값 기반 결정 메커니즘을 사용하여 공격에 대한 내성 강화를 도모한다.

실험 결과

연구 질문

• RQ1 경량 CNN 아키텍처가 모바일 및 임베디드 장치에 적합한 저비용 계산 비용을 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 글로벌 평균 풀링(GAP)을 스트리밍 모듈로 대체할 경우 2D 프레젠테이션 공격 탐지에서 더 나은 특징 표현과 성능 향상을 이끌 수 있는가?
• RQ3 새로운 '앙상블 + 캐스케이드' 융합 전략이 깊이, 적외선(IR), RGB 등 다양한 모달리티의 보완 정보를 활용해 단일 모델 분류기보다 우수한 성능을 낼 수 있는가?
• RQ4 기존 벤치마크와 비교해 새로운 다중모달 데이터셋(MMFD)을 기반으로 훈련할 경우 모델의 일반화 능력과 내성 강도가 향상되는가?
• RQ5 최소한의 아키텍처를 사용한 깊이 전용 모델의 성능 한계는 무엇이며, 향후 연구에 강력한 기준이 될 수 있는가?

주요 결과

• 스트리밍 모듈을 탑재한 제안된 FeatherNet A/B는 깊이 이미지만을 사용하여 0.00168 ACER를 달성하며, 0.35M 파라미터와 83M FLOPS를 가진 새로운 SOTA 기준을 설정한다.
• '앙상블 + 캐스케이드' 융합 전략은 CVPR 2019 얼굴 위조 방지 챌린지 테스트 세트에서 0.0013 ACER, FPR = 10⁻²일 때 0.999 TPR, FPR = 10⁻³일 때 0.998 TPR, FPR = 10⁻⁴일 때 0.9814 TPR의 성능을 기록했다.
• 절단 분석 결과, 보조 브랜치에 평균 풀링 분지(AP-down)를 추가하면 파라미터 증가량이 미미함에도 불구하고 성능 향상이 이루어진다.
• 완전 연결 레이어를 스트리밍 모듈로 대체하면 오차와 계산 비용이 감소하지만, FC 레이어를 제거해도 성능 저하가 발생하지 않는다.
• 글로벌 평균 풀링(GAP)은 얼굴 위조 방지 작업에서 성능을 떨어뜨리며, 더 정교한 전역 특징 집계 기법이 필요함을 확인한다.
• 다양한 공격 유형과 실제 환경 조건을 반영해 수집한 MMFD 데이터셋은 더 나은 모델 일반화 능력을 가능하게 하며, 다중모달 환경에서의 강력한 평가를 지원한다.