[논문 리뷰] Exploring Deep Learning for Joint Audio-Visual Lip Biometrics

Meng Liu, Longbiao Wang외 4명|arXiv (Cornell University)|2021. 04. 17.

Speech and Audio Processing참고 문헌 36인용 수 4

한 줄 요약

이 논문은 심층 학습 기반의 음성-시각적 입술 생체인식 시스템인 DeepLip을 제안한다. 이 시스템은 컨볼루션 신경망(CNN) 기반의 시각적 특징과 시간지연 신경망(TDNN) 기반의 음성 특징을 융합하여 발화자 인증을 수행한다. 점수 융합을 통해 테스트 데이터에서 0.75%의 동일오류율(EER)을 달성하였으며, 가장 우수한 단일 모odal 기반 모델 대비 50% 이상의 상대적 향상을 보였다.

ABSTRACT

Audio-visual (AV) lip biometrics is a promising authentication technique that leverages the benefits of both the audio and visual modalities in speech communication. Previous works have demonstrated the usefulness of AV lip biometrics. However, the lack of a sizeable AV database hinders the exploration of deep-learning-based audio-visual lip biometrics. To address this problem, we compile a moderate-size database using existing public databases. Meanwhile, we establish the DeepLip AV lip biometrics system realized with a convolutional neural network (CNN) based video module, a time-delay neural network (TDNN) based audio module, and a multimodal fusion module. Our experiments show that DeepLip outperforms traditional speaker recognition models in context modeling and achieves over 50% relative improvements compared with our best single modality baseline, with an equal error rate of 0.75% and 1.11% on the test datasets, respectively.

연구 동기 및 목표

• 심층 학습 모델 훈련을 위한 대규모 음성-시각적(AV) 데이터베이스의 부족 문제를 해결하기 위해.
• 음성과 시각적 입술 움직임에서 유용한 발화자 특성을 활용하여 복합적인 특징을 추출하는 강력한 종단간(end-to-end) 심층 학습 프레임워크를 개발하기 위해.
• 특징 융합과 점수 융합 전략을 활용한 기반 시스템을 수립하여 단일 모달 접근 방식을 능가하는 발화자 확인 성능을 확보하기 위해.
• 실증적 평가를 통해 수동으로 설계된 특징보다 심층 특징이 AV 입술 생체인식에서 더 우수한 성능을 발휘하는지를 입증하기 위해.

제안 방법

• 공개 데이터셋인 음성용 VoxCeleb와 영상용 LOMBARDGRID를 조합하여 중간 규모의 AV 데이터베이스를 구축하여 심층 학습 훈련을 가능하게 하였다.
• 비디오 시퀀스의 입술 영역에서 시공간적 특징을 추출하기 위해 CNN 기반의 비디오 모듈을 설계하였으며, 기존의 수동적 특징 엔지니어링을 대체하였다.
• 음성 신호의 장기적 시간적 의존성을 모델링하기 위해 TDNN 기반의 음성 모듈을 구현하였으며, 발화자 임bedding 추출을 최적화하였다.
• 음성 전용 및 영상 전용 임베딩의 연결을 통한 조기 융합(특징 융합)과 점수 평균화를 통한 후기 융합(점수 융합)을 적용하여 다중모달 통합을 수행하였다.
• PLDA가 도메인 외 테스트 세트에서 과적합 문제를 보였던 것을 방지하기 위해 평가에 코사인 유사도를 사용하였다.
• VoxCeleb 데이터를 활용한 전이학습을 통해 음성 전용 모델을 사전학습 및 미세조정하여 강력한 기반 모델로 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 심층 학습 모델은 음성-시각적 입술 시퀀스에서 발화자 특징을 효과적으로 추출할 수 있는가?
• RQ2 음성과 시각 모달의 융합은 단일 모달 시스템 대비 의미 있는 성능 향상을 이끌어낼 수 있는가?
• RQ3 동일한 데이터셋에서 심층 학습 기반의 AV 입술 생체인식 성능은 전통적인 GMM-UBM 및 E-TDNN 기반 기준 모델 대비 어떻게 비교되는가?
• RQ4 음성과 시각 모달이 발화자 인증 작업에서 얼마나 상호 보완적인 정보를 제공하는가?
• RQ5 복잡한 다중모달 정렬 없이도 단순한 점수 또는 특징 융합 전략이 상당한 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 DeepLip 시스템은 점수 융합을 통해 테스트1 데이터셋에서 0.75%의 동일오류율(EER)을 달성하였으며, 가장 우수한 단일 모달 기반 모델 대비 50% 이상의 상대적 향상을 보였다.
• 특징 융합은 테스트1에서 EER을 0.84%로 감소시키고, 테스트2에서는 1.11%로 감소시켜 음성과 시각적 음성 특징 간의 상호보완성이 확인되었다.
• 영상 전용 시스템(MCNN)은 테스트1에서 EER 5.73%, 테스트2에서 8.65%를 기록하였으며, 기존의 GMM-UBM 기반 모델(17.20% 및 13.50%)을 뛰어넘었고, 테스트1에서는 음성 전용 E-TDNN 모델보다도 뛰어난 성능을 보였다.
• 전이학습을 활용한 개선된 음성 전용 시스템은 테스트1에서 EER 1.98%, 테스트2에서 2.12%를 기록하여 가장 우수한 단일 모달 기반 기준 모델이 되었다.
• PLDA는 테스트1에서 영상 전용 모델의 성능을 향상시켜 EER을 5.73%에서 2.70%로 낮추었지만, 테스트2에서는 과적합 현상을 보였으며, 이는 최종 평가에 코사인 유사도를 사용할 근거를 제공하였다.
• 결과는 시각적 음성에서 상당한 발화자 고유 정보가 존재하며, 심층 학습이 이를 효과적으로 활용해 생체인식 인증에 기여할 수 있음을 확인시켰다.