[논문 리뷰] Deep Learning-based Spatio Temporal Facial Feature Visual Speech Recognition

Pangoth Santhosh Kumar, Garika Akshay|arXiv (Cornell University)|2023. 04. 30.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 저자원 장치에서 안전하고 암호 기반의 인증을 가능하게 하는 딥러닝 기반의 시각적 말하기 인식 시스템을 제안한다. 이 시스템은 영상에서 추출한 시공간적 얼굴 특징과 LSTM 네트워크를 결합하여, 언어나 음성에 의존하지 않고 스푸핑 공격를 효과적으로 방지한다. 모델은 MIRACL-VC1 데이터셋에서 96.1%의 정확도를 달성했으며, 긍정적인 학습 영상이 10개 밖에 없어도 강건한 성능을 보였다.

ABSTRACT

In low-resource computing contexts, such as smartphones and other tiny devices, Both deep learning and machine learning are being used in a lot of identification systems. as authentication techniques. The transparent, contactless, and non-invasive nature of these face recognition technologies driven by AI has led to their meteoric rise in popularity in recent years. While they are mostly successful, there are still methods to get inside without permission by utilising things like pictures, masks, glasses, etc. In this research, we present an alternate authentication process that makes use of both facial recognition and the individual's distinctive temporal facial feature motions while they speak a password. Because the suggested methodology allows for a password to be specified in any language, it is not limited by language. The suggested model attained an accuracy of 96.1% when tested on the industry-standard MIRACL-VC1 dataset, demonstrating its efficacy as a reliable and powerful solution. In addition to being data-efficient, the suggested technique shows promising outcomes with as little as 10 positive video examples for training the model. The effectiveness of the network's training is further proved via comparisons with other combined facial recognition and lip reading models.

연구 동기 및 목표

• 사진이나 마스크를 이용한 스푸핑 공격에 취약한 정적 얼굴 인식 시스템의 취약점을 해결하기 위해.
• 말하는 동안의 동적인 얼굴 움직임을 활용하여 정적 얼굴 특징을 초월한 보안성을 향상시키는 생체 인식 인증 시스템을 개발하기 위해.
• 스마트폰과 같은 저자원 장치에 적합한 언어에 구애받지 않고 음성 없이 작동하는 인증 방법을 만들기 위해.
• 다양한 조명 조건과 환경 조건에서도 높은 정확도와 강건성을 확보하기 위해.
• 강력한 성능를 유지하면서도 데이터 요구량을 최소화하여 엣지 장치에의 배포를 가능하게 하기 위해.

제안 방법

• 사전 훈련된 VGGFace 모델이 영상 프레임에서 깊이 있는 얼굴 특징을 추출하여 신원에 특화된 공간적 패턴을 캡처한다.
• 추출된 얼굴 특징의 시퀀스가 말하는 동안 얼굴 운동의 시간적 동역학을 모델링하기 위해 LSTMs 네트워크 스택에 입력된다.
• 모델은 훈련 중에 암호 내용을 알 필요 없이, 주어진 영상 클립이 사전에 선택한 암호를 말하는 진짜 사용자에 해당하는지 분류하도록 훈련된다.
• 시스템은 MIRACL-VC1 벤치마크 데이터셋과 다양한 실제 환경 조건에서 스마트폰 카메라로 수집한 커스텀 데이터셋에서 평가된다.
• 정확도, 특이도, 민감도, AUC, 등가오류율(EER) 등의 지표를 사용하여 모델 성능을 평가한다.
• 모델 아키텍처는 데이터 효율성을 고려하여, 사용자당 10개의 긍정 영상 샘플만으로도 효과적인 훈련이 가능하도록 설계되었다.

Figure 1: Proposed Architecture built on VGGFace

실험 결과

연구 질문

• RQ1 얼굴 인식과 시간적 얼굴 운동 분석을 결합한 딥러닝 모델이 정적 얼굴 인식보다 더 높은 보안성을 달성할 수 있는가?
• RQ2 실제 환경에 배포했을 때 다양한 조도, 배경, 영상 품질 조건에서도 모델이 얼마나 잘 일반화되는가?
• RQ3 최소한의 데이터로 훈련했을 때도 높은 정확도와 강건성을 유지할 수 있는가?
• RQ4 모델이 동일한 사람과 다른 사람의 스푸핑 공격를 탐지하는 데 얼마나 효과적인가?
• RQ5 높은 성능를 유지하면서도 언어에 구애받지 않고 음성 없이 작동할 수 있는가?

주요 결과

• 제안된 모델은 MIRACL-VC1 데이터셋에서 96.1%의 정확도를 달성하여 시각적 말하기 인식 분야에서 뛰어난 성능을 보였다.
• 시스템은 높은 특이도(95.9%)와 민감도(98.8%)를 유지하여 진짜 사용자와 위조자 모두를 효과적으로 탐지함을 시사했다.
• MIRACL-VC1에서 등가오류율(EER)은 0.021, 커스텀 데이터셋에서는 0.030로, 낮은 오인수용 및 오류 기각률을 나타냈다.
• MIRACL-VC1에서 AUC 스코어는 0.990, 커스텀 데이터셋에서는 0.989로, 뛰어난 분류 능력을 반영했다.
• 사용자당 긍정 영상 샘플이 10개 밖에 없어도 시스템이 효과적으로 기능함을 통해 데이터 효율성이 뛰어났다.
• 모델은 정확도와 스푸핑 저항성 측면에서 최신의 정적 얼굴 인식 및 립 리딩 모델을 모두 초월했다.

Figure 2: Data Preprocessing Pipeline