[논문 리뷰] Analyzing Utility of Visual Context in Multimodal Speech Recognition Under Noisy Conditions

Tejas Srinivasan, Ramon Sanabria외 1명|arXiv (Cornell University)|2019. 06. 30.

Speech and Audio Processing참고 문헌 27인용 수 6

한 줄 요약

이 논문은 소음이 있거나 손상된 오디오 조건에서 시각적 맥락이 다모달 자동 음성 인식(MMASR) 성능을 향상시키는지 조사한다. 단, 일원적 모델 대비 최대 4.2%의 WER 향상을 달성했음에도 불구하고, 오디오가 마스킹된 경우 MMASR 시스템은 시각 입력을 효과적으로 활용하지 못함을 확인하여 현재의 융합 방법이 소음에 대한 내성을 향상시키지 못하고 있음을 시사한다.

ABSTRACT

Multimodal learning allows us to leverage information from multiple sources (visual, acoustic and text), similar to our experience of the real world. However, it is currently unclear to what extent auxiliary modalities improve performance over unimodal models, and under what circumstances the auxiliary modalities are useful. We examine the utility of the auxiliary visual context in Multimodal Automatic Speech Recognition in adversarial settings, where we deprive the models from partial audio signal during inference time. Our experiments show that while MMASR models show significant gains over traditional speech-to-text architectures (upto 4.2% WER improvements), they do not incorporate visual information when the audio signal has been corrupted. This shows that current methods of integrating the visual modality do not improve model robustness to noise, and we need better visually grounded adaptation techniques.

연구 동기 및 목표

• 추론 중 오디오 신호가 손상된 상황에서 시각적 맥락이 다모달 ASR에 어떤 기여를 하는지 평가하기.
• 현재의 MMASR 모델이 오디오가 누락된 상황에서 시각 정보를 활용해 보완할 수 있는지, 인간의 청각심리학적 행동을 모방하여 조사하기.
• 추론 중 시각 입력이 비일치하거나 관련성이 없는 경우 MMASR 모델의 민감도를 평가하기.
• 기존의 시각 융합 기법이 오디오 품질 저하에 대비한 강건성을 확보하지 못하는 데서 비롯되는 한계를 규명하기.

제안 방법

• 6개의 양방향 LSTM 레이어를 갖는 인코더와 2층의 GRU 디코더를 사용한 어텐션 기반의 시퀀스-투-시퀀스 ASR 모델을 일원적 기준 모델로 훈련.
• 다음 네 가지 다모달 변종을 제안: (1) 인코더 은닉 상태의 시각적 특징 초기화, (2) 인코더 및 디코더의 공동 초기화, (3) 오디오 및 시각적 특징을 연결하여 조기 융합, (4) 어텐션 메커니즘에 시각적 특징을 피드백하는 후기 융합.
• 추론 중 세 가지 유형의 오디오 마스킹을 적용: 문장의 시작, 중간, 끝 부분에 침묵을 삽입하여 신호 손상 시뮬레이션.
• 비일치된 디코딩 실험을 수행하여 오디오와 관련 없는 이미지를 조합함으로써 모델의 시각 입력 비일치에 대한 민감도를 테스트.
• 모든 마스킹 및 비일치 조건에서 주로 WER(단어 오류율)를 사용한 평가 지표로 PlacesAudio 데이터셋에서 성능을 평가.
• 공간적 주의 메커니즘 또는 개체 수준의 국소화 없이, 사전 훈련된 ResNet-50 모델에서 추출한 글로벌 평균 풀링된 시각적 특징을 사용해 환경 맥락을 표현.

실험 결과

연구 질문

• RQ1 다모달 ASR 모델이 추론 중 오디오 신호가 손상된 경우 시각적 맥락을 활용하는가?
• RQ2 오디오 마스킹(문장 내 위치에 따라 다름)이 다모달 모델의 WER에 미치는 영향은 일원적 기준 모델 대비 어떻게 다를까?
• RQ3 다모달 ASR 모델은 추론 중 시각 입력의 비일치 또는 관련 없는 이미지에 얼마나 민감한가?
• RQ4 관련 없는 이미지가 제공된 상황에서도 다모달 모델이 일원적 모델을 초월할 수 있으며, 이는 시각 모odal의 사용 방식에 대해 어떤 시사점을 갖는가?

주요 결과

• 청결한 조건에서 MMASR 모델은 일원적 ASR 대비 최대 4.2%의 WER 향상을 달성하여 이상적인 환경에서 시각적 맥락의 유용성을 확인한다.
• 오디오가 마스킹된 경우(특히 문장의 끝부분에서), 다모달 모델의 WER 향상 폭이 크게 감소하여 신호 손실 시 시각적 맥락을 효과적으로 활용하지 못함을 시사한다.
• 조금도 관련 없는 이미지가 제공된 경우조차도 다모달 모델은 일원적 모델 대비 최대 3.5%의 WER 향상을 기록하여, 시각 입력이 의미적으로나 일관되게 활용되고 있지 않음을 시사한다.
• 비일치된 시각 입력으로 인한 성능 저하가 미미함(~0.5% WER 증가), 이는 이러한 조건에서 모델이 시각 모달에 의존하지 않음을 의미한다.
• 글로벌 평균 풀링을 통한 시각적 특징 융합은 오디오 품질 저하 상황에서 강건한 다모달 적응을 위해 부족함을 드러냄.
• 현재의 MMASR 아키텍처는 기대하는 소음에 대한 내성을 확보하지 못하여, 시각 기반 정렬 및 모달 간 상호작용 설계에 핵심적 격차가 있음을 드러냄.