[논문 리뷰] Multimodal Integration for Large-Vocabulary Audio-Visual Speech Recognition

Wentao Yu, Steffen Zeiler외 1명|arXiv (Cornell University)|2020. 07. 28.

Speech Recognition and Synthesis참고 문헌 22인용 수 5

한 줄 요약

이 논문은 시간에 따라 변하는 신뢰도 지표를 사용하여 청각 및 시각적 말기능을 동적으로 융합하는 판별적 스트림 통합 네트워크를 제안한다. 이는 대용량 어휘 청각-시각적 말 인식을 향상시키기 위한 것이다. 여러 신뢰도 지표를 사용하여 융합 네트워크를 훈련시키고, MMI + MSE의 하이브리드 손실 함수로 최적화함으로써, LRS2 데이터셋에서 가장 우수한 오디오 전용 모델 대비 24.97% 상대적 WER 감소를 달성하였다. 이는 노이즈가 있는 조건에서의 조기 융합 및 엔드 투 엔드 기준 모델을 모두 능가하는 성능을 보였다.

ABSTRACT

For many small- and medium-vocabulary tasks, audio-visual speech recognition can significantly improve the recognition rates compared to audio-only systems. However, there is still an ongoing debate regarding the best combination strategy for multi-modal information, which should allow for the translation of these gains to large-vocabulary recognition. While an integration at the level of state-posterior probabilities, using dynamic stream weighting, is almost universally helpful for small-vocabulary systems, in large-vocabulary speech recognition, the recognition accuracy remains difficult to improve. In the following, we specifically consider the large-vocabulary task of the LRS2 database, and we investigate a broad range of integration strategies, comparing early integration and end-to-end learning with many versions of hybrid recognition and dynamic stream weighting. One aspect, which is shown to provide much benefit here, is the use of dynamic stream reliability indicators, which allow for hybrid architectures to strongly profit from the inclusion of visual information whenever the audio channel is distorted even slightly.

연구 동기 및 목표

• 다중모달 융합을 통해 대용량 어휘 청각-시각적 말 인식(LVCPR)을 향상시키는 과제를 해결하기 위해.
• 신뢰도 지표를 사용한 동적 스트림 가중치 부여가 고정 또는 엔드 투 엔드 융합보다 인식 정확도를 크게 향상시킬 수 있는지 조사하기 위해.
• 다양한 신뢰도 지표와 손실 함수가 하이브리드 ASR 시스템의 다중모달 융합 최적화에 미치는 영향을 평가하기 위해.
• 노이즈가 있는 청각-시각적 데이터에서 하이브리드 융합, 조기 융합 및 엔드 투 엔드 학습 간의 내성 및 성능을 비교하기 위해.
• 청각 모odal이 약간 손상된 상황에서도 시각 모달을 효과적으로 활용할 수 있는 최적의 융합 전략을 규명하기 위해.

제안 방법

• 신뢰도 지표 σₜᴬ, σₜᵛᴬ, σₜᵛˢ 기반으로 청각 및 두 개의 시각 모달(외형 및 형태)에 대한 동적 스트림 가중치 λₜⁱ 예측을 위한 스트림 통합 네트워크를 훈련시켰다.
• 융합은 가중치 합산을 통한 로그-후验 확률 조합으로 이루어진다: log p̃(s|oₜ) = Σᵢ λₜⁱ · log p(s|oₜⁱ), 여기서 가중치는 통합 네트워크로부터 유도된다.
• 신뢰도 지표에는 엔트로피, 스펙트럼 평탄도, 신호 대 잡음비(SNR), DNN에서 유도된 후험 확률 분산 등이 포함된다.
• 통합 네트워크는 교차 엔트로피(CE) 및 평균 제곱오차(MSE) 손실 함수를 사용하여 훈련되었으며, 두 단계 훈련 방식을 적용함: MMI로 사전 훈련 후 MSE로 미세조정.
• 세 가지 모델을 사용함: 오디오 전용(AO), 시각적 외형(VA), 시각적 형태(VS), 조기 융합(EI) 및 오라클 가중치(OW)를 기준 모델로 사용함.
• 노이즈 수준이 다양한 조건에서 LRS2 데이터셋을 대상으로 실험하여 내성 및 성능 향상을 평가함.

실험 결과

연구 질문

• RQ1 학습된 신뢰도 지표를 사용한 동적 스트림 가중치 부여가 고정 또는 엔드 투 엔드 융합보다 대용량 청각-시각적 말 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 노이즈 조건에서 가장 효과적인 융합을 제공하는 신뢰도 지표 조합은 무엇인가?
• RQ3 판별적 스트림 통합을 사용한 하이브리드 인식이 조기 융합 및 엔드 투 엔드 모델을 모두 능가하는가?
• RQ4 손실 함수 선택(예: CE, MSE, MMI)이 스트림 통합 네트워크 성능에 어떤 영향을 미치는가?
• RQ5 청각 신호가 약간 손상된 경우에도 시각 정보가 얼마나 인식 성능 향상에 기여할 수 있으며, 이는 동적 가중치 부여를 통해 캡처될 수 있는가?

주요 결과

• 학습된 스트림 통합을 적용한 하이브리드 청각-시각 모델(MM)은 LRS2 데이터셋에서 29.89% WER를 기록하였으며, 가장 우수한 오디오 전용 모델(39.84% WER) 대비 24.97% 상대적 WER 감소를 달성하였다.
• 모든 신뢰도 지표(MB, SB, AB, VB, All)를 사용할 경우 가장 우수한 성능를 기록하였으며, 개별 지표 조합보다 뛰어난 성능를 보였다.
• MM 손실(MMI 사전 훈련 + MSE 미세조정)은 저 SNR 조건(≤3 dB)에서 가장 우수한 성능를 기록하였으며, MSE 또는 CE 단독 사용보다 뛰어났다.
• 동적 스트림 통합을 적용한 하이브리드 모델은 엔드 투 엔드 AV Align 모델을 크게 능가하였으며, LRS2에서 오디오 전용 모델에 비해 향상이 없었던 엔드 투 엔드 모델과 대비하여 뚜렷한 성능 향상을 보였다.
• 오라클 가중치(OW) 모델은 23.23% WER를 기록하였으며, 가장 뛰어난 학습 모델(29.89% WER)보다도 높은 성능를 보였고, 이는 최적 융합에 도달하기까지 여전히 큰 격차가 있음을 시사한다.
• 청결한 조건에서도 하이브리드 모델은 오디오 전용 기준 모델 대비 WER를 9.95%포인트 감소시켰으며, 다양한 SNR 수준에서 일관된 성능 향상을 보였다.