[논문 리뷰] Securing Face Liveness Detection Using Unforgeable Lip Motion Patterns

Man Zhou, Qian Wang외 6명|arXiv (Cornell University)|2021. 06. 15.

Face recognition and analysis참고 문헌 41인용 수 7

한 줄 요약

이 논문은 임의의 도전 과제에 반응하여 동적으로 생성된 음향 신호에 의해 유도되는 위조할 수 없는 입술 운동 패턴을 사용하는 안전한 생체 인식을 위한 라이브니스 검증 기법인 FaceLip을 제안한다. 이러한 실시간, 사용자 고유의 음향 신호를 분석함으로써 FaceLip은 정교한 3D 프로젝션 공격에 저항하며, 실제 환경 조건에서 92.95%의 정확도를 달성하여 기존 방법을 뛰어넘는 뛰어난 내구성과 보안성을 입증한다.

ABSTRACT

Face authentication usually utilizes deep learning models to verify users with high recognition accuracy. However, face authentication systems are vulnerable to various attacks that cheat the models by manipulating the digital counterparts of human faces. So far, lots of liveness detection schemes have been developed to prevent such attacks. Unfortunately, the attacker can still bypass these schemes by constructing wide-ranging sophisticated attacks. We study the security of existing face authentication services (e.g., Microsoft, Amazon, and Face++) and typical liveness detection approaches. Particularly, we develop a new type of attack, i.e., the low-cost 3D projection attack that projects manipulated face videos on a 3D face model, which can easily evade these face authentication services and liveness detection approaches. To this end, we propose FaceLip, a novel liveness detection scheme for face authentication, which utilizes unforgeable lip motion patterns built upon well-designed acoustic signals to enable a strong security guarantee. The unique lip motion patterns for each user are unforgeable because FaceLip verifies the patterns by capturing and analyzing the acoustic signals that are dynamically generated according to random challenges, which ensures that our signals for liveness detection cannot be manipulated. Specially, we develop robust algorithms for FaceLip to eliminate the impact of noisy signals in the environment and thus can accurately infer the lip motions at larger distances. We prototype FaceLip on off-the-shelf smartphones and conduct extensive experiments under different settings. Our evaluation with 44 participants validates the effectiveness and robustness of FaceLip.

연구 동기 및 목표

• 기존의 얼굴 인증 시스템과 라이브니스 검증 방법의 핵심 취약점을 특정하고, 특히 고도화된 3D 동적 공격에 대한 취약성을 분석한다.
• 현재의 라이브니스 검증 기법이 디지털 얼굴 표현을 조작하는 저비용, 일반적인 3D 프로젝션 공격에 취약함을 입증한다.
• 실시간 음향 신호 분석을 통해 신뢰할 수 없이 위조할 수 없는 사용자 고유의 입술 운동 패턴을 보장하는 새로운 라이브니스 검증 메커니즘을 설계하고 구현한다.
• 다양한 환경적 및 장치 조건 하에서 제안된 시스템의 내구성과 실용성을 검증한다.

제안 방법

• FaceLip은 사용자가 암호를 말하도록 유도하는 무작위 도전 과제를 생성하여 실시간 음향 신호에 코딩된 고유한 동적 입술 운동 패턴을 생성한다.
• 시스템은 스마트폰 마이크를 통해 이러한 음향 신호를 캡처하고, 이를 분석하여 실제 입술 운동을 확인함으로써 재생 또는 합성 공격을 방지한다.
• 신호 특징을 음성에서 추출한 후 하이브리드 LSTM-CNN 신경망을 사용하여 진짜 입술 운동과 위조된 신호를 구분한다.
• 일致성 검증을 통해 소음 조건이나 중간 수준의 사용자 이동 조건에서도 검출된 입술 운동이 주어진 도전 과제에 대한 예상 패턴과 일치하는지 확인한다.
• 클라이언트-서버 아키텍처로 구현되어 음성은 현지에서 캡처되고, 운동 및 일치성 검증은 서버에서 수행되어 효율성과 보안성이 향상된다.
• 사용자가 암호를 변경하더라도 핵심 모델을 재학습할 필요가 없으며, 모델이 특정 암호 내용과 무관하게 신체적 입술 운동 패턴을 인식하도록 학습되기 때문이다.

실험 결과

연구 질문

• RQ1 저비용 3D 프로젝션 공격가 사용자가 조작한 영상을 3D 얼굴 모델에 투영함으로써 기존의 상용 얼굴 인증 서비스 및 라이브니스 검증 방법을 우회할 수 있는가?
• RQ2 환경적 소음과 사용자 이동은 입술 운동 패턴을 기반으로 한 음향 기반 라이브니스 검증의 신뢰성에 어느 정도 영향을 미치는가?
• RQ3 동적으로 생성된 음향 신호에서 파생된 위조할 수 없는 입술 운동 패턴이 3D 동적 공격과 같은 정교한 제시 공격에 효과적으로 저항할 수 있는가?
• RQ4 다양한 암호 길이, 기기 종류, 마이크와의 거리에 따라 FaceLip의 성능은 어떻게 변화하는가?
• RQ5 하드웨어 수정 없이도 표준 스마트폰에 FaceLip을 구현할 수 있으며, 암호가 변경될 경우 핵심 모델을 재학습할 필요가 없는가?

주요 결과

• FaceLip은 테스트된 모든 3D 프로젝션 공격에 성공적으로 저항하였으며, 주요 상용 얼굴 인증 서비스와 라이브니스 검증 방법을 우회하는 공격에도 효과를 보였다.
• 6자리 암호를 사용할 경우 92.95%의 정확도를 기록하여 실제 환경 조건에서도 매우 높은 신뢰성을 입증하였다.
• 일치성 검증은 다양한 거리와 환경 조건에서도 높은 성능을 유지하였으며, 큰 거리에서도 정확도가 88%를 초과하였다.
• 사용자 이동, 특히 중간 수준의 흔들림은 정확도에 미미한 하락만을 초래하여 신호 분석 파이프라인의 내구성을 확인하였다.
• 다양한 표준 스마트폰 기기와 호환되며, 암호 변경 시 LSTM-CNN 모델을 재학습할 필요가 없다.
• 클라이언트-서버 아키텍처는 효율적인 처리를 가능하게 하며, 서버에서 운동 및 일치성 검증을 분리함으로써 보안성을 강화한다.