[논문 리뷰] Auxiliary Multimodal LSTM for Audio-visual Speech Recognition and Lipreading

Chunlin Tian, Weijun Ji|arXiv (Cornell University)|2017. 01. 16.

Speech and Audio Processing참고 문헌 22인용 수 5

한 줄 요약

이 논문은 보조 연결을 통한 정규화를 통해 균형 잡힌 시간적 및 모odal 융합을 사용하여 음성 및 시각적 특징을 공동으로 융합하는 엔드 투 엔드 딥 러닝 모델인 보조 다중모态 LSTM(am-LSTM)을 제안한다. 이 모델은 AVSR 및 입술 읽기 작업에서 최신 기술 수준의 성능을 달성하며, AVLetters2에서 89.11%의 정확도와 교차 모odal 입술 읽기에서 88.83%의 정확도를 기록한다.

ABSTRACT

The Aduio-visual Speech Recognition (AVSR) which employs both the video and audio information to do Automatic Speech Recognition (ASR) is one of the application of multimodal leaning making ASR system more robust and accuracy. The traditional models usually treated AVSR as inference or projection but strict prior limits its ability. As the revival of deep learning, Deep Neural Networks (DNN) becomes an important toolkit in many traditional classification tasks including ASR, image classification, natural language processing. Some DNN models were used in AVSR like Multimodal Deep Autoencoders (MDAEs), Multimodal Deep Belief Network (MDBN) and Multimodal Deep Boltzmann Machine (MDBM) that actually work better than traditional methods. However, such DNN models have several shortcomings: (1) They don't balance the modal fusion and temporal fusion, or even haven't temporal fusion; (2)The architecture of these models isn't end-to-end, the training and testing getting cumbersome. We propose a DNN model, Auxiliary Multimodal LSTM (am-LSTM), to overcome such weakness. The am-LSTM could be trained and tested once, moreover easy to train and preventing overfitting automatically. The extensibility and flexibility are also take into consideration. The experiments show that am-LSTM is much better than traditional methods and other DNN models in three datasets.

연구 동기 및 목표

• 기존의 전통적 및 딥 러닝 다중모달 모델이 음성-시각적 말하기 인식(AVSR)에서 시간적 및 모달 융합의 균형이 맞지 않는 문제를 해결하기 위해.
• MDAE 및 MDBN과 같은 이전의 딥 러닝 모델들이 엔드 투 엔드 학습 및 테스트 프로세스를 갖추지 못해 복잡도가 증가하고 최적화를 방해하는 문제를 해결하기 위해.
• 보조 연결, 드롭아웃, 조기 정지 등을 통합하여 다중모달 시퀀스 모델링에서 일반화 능력과 수렴 속도를 향상시키기 위해.
• 음성-시각 데이터로 학습하고 시험은 오직 영상으로만 수행하는 효과적인 교차 모달 입술 읽기를 가능하게 하기 위해 연관 표현 학습을 활용하기 위해.
• 단일 통합 학습 프로세스에서 모달 및 시간적 융합을 통합하는 유연하고 확장 가능하며 학습 가능한 아키텍처를 개발하기 위해.

제안 방법

• am-LSTM 모델은 음성 및 시각적 특징를 처리하기 위해 두 개의 병렬 LSTM을 사용하며, 다중모달 융합을 위해 공유된 투영 및 인식 헤드를 갖춘다.
• 보조 연결은 잔차 학습에서 영감을 얻어 학습 안정성과 과적합 방지를 위해 사용되며, 주 손실과 보조 손실을 포함하는 병합된 손실 함수를 사용한다.
• 손실 함수는 다음과 같이 정의된다: $\text{Loss} = \frac{1}{n}\sum_{i=1}^{n} \left[ \max\{0, (1 - x_{\text{main}} + y)^2\} + 0.2\max\{0, (1 - x_{\text{aux}}^{v} + y)^2\} + 0.2\max\{0, (1 - x_{\text{aux}}^{a} + y)^2\} \right] $, 여기서 $x_{\text{main}}$, $x_{\text{aux}}^{v}$, 및 $x_{\text{aux}}^{a}$ 는 영상 및 음성에 대한 주 및 보조 출력이다.
• 시각적 특징는 Viola-Jones 알고리즘을 사용해 입술 영역을 잘라낸 후 사전 학습된 VGG-16 네트워크를 통해 추출되며, 100개의 성분으로 주성분 분석(PCA)을 거친다.
• 음성 특징는 20ms 히든 윈도우, 10ms 겹침, 그리고 50개의 성분으로 주성분 분석(PCA)을 거쳐 추출된다.
• 시간적 일반화를 향상시키기 위해 오디오 및 영상 특징를 ±10 프레임만큼 이동시키는 데이터 증강 기법이 적용된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 음성-시각적 말하기 인식에서 시간적 및 모달 융합을 효과적으로 균형 잡을 수 있는가?
• RQ2 보조 연결 및 정규화의 통합이 다중모달 RNN에서 수렴성과 일반화 능력을 향상시키는가?
• RQ3 학습 시 음성-시각 데이터를 함께 사용할 때, 시험 시 오직 영상만 사용하는 입술 읽기 성능 향상 정도는 어느 정도인가?
• RQ4 MDAE, MDBN, RTMRBM과 같은 기존의 딥 러닝 다중모달 모델에 비해 제안된 am-LSTM 모델은 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 am-LSTM 아키텍처는 단일 통합 학습 프로세스로 AVSR 및 교차 모달 입술 읽기 작업에 효과적으로 적용될 수 있는가?

주요 결과

• am-LSTM는 AVLetters2 데이터셋에서 89.11%의 정확도를 기록하여 이전의 모델들인 RTMRBM(74.77%) 및 MDAE(67.89%)를 크게 앞서 갔다.
• AVDigits 데이터셋에서는 85.23%의 정확도를 달성하여 RTMRBM(71.77%) 및 MDBN(55.00%)를 초월했다.
• 교차 모달 입술 읽기에서 am-LSTM는 88.83%의 정확도를 기록하여 이어지는 최고 성능 모델인 RTMRBM(66.21%)를 크게 뛰어넘었다.
• 시험 시 오직 영상만 사용하는 상황에서의 입술 읽기 성능은 음성-시각적 학습이 시각적 단독 추론에 효과적임을 보여준다.
• 보조 연결, 드롭아웃, 조기 정지의 사용은 더 빠른 수렴과 과적합 감소에 기여하여 단일 학습 및 테스트 프로세스를 가능하게 하였다.
• 모델의 아키텍처는 엔드 투 엔드 학습 및 추론을 지원하여 별도의 학습 단계가 필요 없게 하여 실용성 향상에 기여하였다.