[논문 리뷰] Deep Learning for Lip Reading using Audio-Visual Information for Urdu Language

Faisal Muhammad, Sanaullah Manzoor|arXiv (Cornell University)|2018. 02. 15.

Speech and Audio Processing참고 문헌 9인용 수 15

한 줄 요약

이 논문은 시공간 CNN과 이중 게이트 RNN, 그리고 Connectionist Temporal Classification (CTC) 손실을 사용하여 청각 및 시각 모odalities를 융합하는 다중모달 딥 러닝 프레임워크를 제안한다. 음성-시각 데이터셋을 자체 제작하여 소음 환경에서의 음성 인식 성능을 향상시키며, 단일모달 기반 모델보다 높은 정확도를 달성한다.

ABSTRACT

Human lip-reading is a challenging task. It requires not only knowledge of underlying language but also visual clues to predict spoken words. Experts need certain level of experience and understanding of visual expressions learning to decode spoken words. Now-a-days, with the help of deep learning it is possible to translate lip sequences into meaningful words. The speech recognition in the noisy environments can be increased with the visual information [1]. To demonstrate this, in this project, we have tried to train two different deep-learning models for lip-reading: first one for video sequences using spatiotemporal convolution neural network, Bi-gated recurrent neural network and Connectionist Temporal Classification Loss, and second for audio that inputs the MFCC features to a layer of LSTM cells and output the sequence. We have also collected a small audio-visual dataset to train and test our model. Our target is to integrate our both models to improve the speech recognition in the noisy environment

연구 동기 및 목표

• 소음 환경에서 낮은 음성 인식 정확도 문제를 해결하기 위해 입술 움직임의 시각적 정보를 활용하고자 한다.
• 음성과 시각 정보를 융합하는 다중모달 딥 러닝 시스템을 개발하여 우르두어 음성 인식 성능을 향상시키고자 한다.
• 저자원 언어 연구를 지원하기 위해 우르두어 입술 읽기용 새로운 음성-시각 데이터셋을 수집하고 공개하고자 한다.
• 순서 변환 작업에서 단일모달(음성 전용 및 영상 전용) 및 다중모달(음성-시각 융합) 모델의 성능을 비교하고자 한다.
• 시공간 컨볼루션 및 게이트형 순환 네트워크가 입술 움직임의 시간적 동역학을 모델링하는 데 얼마나 효과적인지 평가하고자 한다.

제안 방법

• 시공간 컨volution 신경망(ST-CNN)을 사용하여 입술 움직임 영상 시퀀스의 공간적 및 시간적 특징을 추출한다.
• 추출된 특징을 처리하기 위해 이중 게이트형 순환 신경망(Bi-GRU)을 사용하여 순차적 입술 움직임의 장거리 종속성을 모델링한다.
• 입력 및 출력 시퀀스의 강제 정렬이 필요 없이 모델을 엔드 투 엔드로 훈련시키기 위해 Connectionist Temporal Classification(CTC) 손실을 적용한다.
• 음성 모달리티의 경우, MFCC 특징을 사용하여 시간적 음향 패턴을 모델링하기 위해 LSTMs 쌓기 구조를 활용한다.
• 음성 및 영상 모델을 별도로 훈련한 후 융합하여 소음 조건에서의 강인성을 향상시킨다.
• 우르두어 음성에 대한 자체 제작된 음성-시각 데이터셋을 수집하여 훈련 및 평가에 사용한다.

실험 결과

연구 질문

• RQ1 소음 환경에서 우르두어 언어의 음성 인식 성능을 음성-시각 융합을 통해 향상시킬 수 있는가?
• RQ2 정확도 및 강인성 측면에서 단일모달 음성 및 영상 모델 간의 성능 비교는 어떠한가?
• RQ3 시공간 CNN과 Bi-GRUs의 통합이 입술 읽기의 순서 모델링에 얼마나 기여하는가?
• RQ4 CTC 손실을 사용하면 강제 정렬 없이도 입술 읽기 모델의 효과적인 엔드 투 엔드 훈련이 가능한가?
• RQ5 저자원 언어인 우르두어에서 제안된 다중모달 시스템은 얼마나 효과적인가?

주요 결과

• 다중모달 음성-시각 융합 모델은 음성 전용 및 영상 전용 모델보다 음성 인식 정확도에서 뛰어난 성능을 보였다.
• CTC 손실을 사용함으로써 입력 및 출력 시퀀스의 프레임 수준 정렬이 필요 없이 엔드 투 엔드 훈련이 가능했다.
• 시공간 CNN은 영상 시퀀스 전반에 걸쳐 입술 움직임의 공간적 및 시간적 패턴을 효과적으로 캡처했다.
• 이중 게이트형 RNN 아키텍처는 장거리 종속성을 포착함으로써 순서 모델링 성능을 향상시켰다.
• 자체 제작한 음성-시각 데이터셋은 저자원 우르두어 입술 읽기 연구를 위한 유의미한 기준점이 되었다.
• 음성과 시각 모달리티의 융합은 소음 환경에서의 강인성을 크게 향상시켜 다중모달 학습의 이점을 입증했다.