[논문 리뷰] On Robustness to Missing Video for Audiovisual Speech Recognition

Oscar Chang, Otavio Braga외 3명|arXiv (Cornell University)|2023. 12. 13.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 비디오가 누락되었을 경우 성능 저하가 발생하지 않도록 보장하는 강건한 음성시각 speech recognition 프레임워크를 제안한다. 표준화된 평가 프로토콜을 도입하고, 캐스케이드 기반 아키텍처에 종속되지 않는 방법이 기존 기법들(예: 드롭아웃)보다도 다양한 비디오 손실 조건에서 정확도를 유지하는 데서 항상 슈퍼어리어어를 보여준다.

ABSTRACT

It has been shown that learning audiovisual features can lead to improved speech recognition performance over audio-only features, especially for noisy speech. However, in many common applications, the visual features are partially or entirely missing, e.g.~the speaker might move off screen. Multi-modal models need to be robust: missing video frames should not degrade the performance of an audiovisual model to be worse than that of a single-modality audio-only model. While there have been many attempts at building robust models, there is little consensus on how robustness should be evaluated. To address this, we introduce a framework that allows claims about robustness to be evaluated in a precise and testable way. We also conduct a systematic empirical study of the robustness of common audiovisual speech recognition architectures on a range of acoustic noise conditions and test suites. Finally, we show that an architecture-agnostic solution based on cascades can consistently achieve robustness to missing video, even in settings where existing techniques for robustness like dropout fall short.

연구 동기 및 목표

• 음성시각 speech recognition (AVASR)에서 비디오 누락에 대한 강건성 평가에 대한 공감대가 부족한 문제를 해결하기 위해.
• AVASR 모델의 강건성 평가를 위한 정밀하고 검증 가능한 프레임워크를 수립하기 위해.
• 다양한 노이즈 및 비디오 드롭아웃 조건 하에서 일반적인 AVASR 아키텍처의 강건성에 실증적으로 평가하기 위해.
• 비디오 부재 시 성능이 오디오 전용 기준선 이하로 떨어지지 않는 아키텍처에 종속되지 않는 솔루션을 개발하고 검증하기 위해.

제안 방법

• 형식적인 강건성 기준을 제안: 모델이 테스트 시 추가로 비디오 입력을 받을 경우 성능을 향상시키거나 유지할 수 있어야 하며, 절대 악화되어서는 안 된다.
• 비디오 누락을 서로 다른 시간적 위치와 비율에서 시뮬레이션하기 위해 세 가지 별도의 테스트 세트—$\tau_{\text{mid}}$, $\tau_{\text{end}}$, 및 $\tau_{\text{rate}}$—를 도입.
• 각기 다른 오디오 전용 모델과 비디오 보강 모델을 융합하는 캐스케이드 기반 아키텍처를 사용하여, 비디오 가용성 여부에 관계없이 강건한 추론을 가능하게 한다.
• 다양한 노이즈 조건(청결, 0dB, 10dB, 20dB SNR)과 비디오 드롭아웃 수준에서 주요 평가 지표로 WER(단어 오류율)를 사용.
• 표준 AVASR 모델들(예: Conformer, LSTM)을 비디오 유무에 따라 적용하여 AV, AO, 및 AO 기준선 조건에서 성능를 비교.
• 다양한 아키텍처와 학습 제도에서 강건성을 검증하여 캐스케이드 솔루션의 일반화 능력을 확보.

Figure 1: a) An audiovisual model trained with the RNN-T loss. b) A cascaded audiovisual model. The dashed lines indicate different routes the input can take: the AO path, which goes through the audio model, and the AV path, which goes through the audiovisual model.

실험 결과

연구 질문

• RQ1 AVASR 모델에서 비디오 누락에 대한 강건성 평가를 위한 표준화되고 검증 가능한 프레임워크를 정의할 수 있는가?
• RQ2 기존 AVASR 모델들은 다양한 노이즈 수준과 드롭아웃 패턴에서 제어된 비디오 누락 조건 하에서 어떻게 성능을 보이는가?
• RQ3 캐스케이드 기반 아키텍처에 종속되지 않는 솔루션은 다양한 모델 아키텍처와 노이즈 조건에서 일관되게 강건성을 달성하는가?
• RQ4 포괄적인 평가를 통해 드러난 바에 따르면, 선언된 강건성과 실제 비디오 부재 시 성능 간에 괴리가 존재하는가?

주요 결과

• 제안된 강건성 프레임워크는 비디오 누락 조건 하에서 AVASR 모델의 정밀하고 재현 가능한 평가를 가능하게 하여 이전 연구에서의 모호함을 해결한다.
• Makino 등(2019)과 Zhang 등(2019)의 기존 모델들은 강건성 기준에 실패하며, 오디오 전용 데이터로 테스트했을 때 비디오 학습 데이터로 학습된 후에도 성능 저하를 보인다.
• 캐스케이드 기반 방법은 모든 테스트 설정에서 일관된 강건성을 달성한다: 비디오가 점차 제거됨에 따라 WER가 안정되거나 향상되며, 고노이즈 조건(0dB SNR)에서도 마찬가지다.
• LSTM 기반 캐스케이드 모델의 경우, AO 기준선에서의 WER는 24.54±1.45 WER를 유지하지만, 100% 비디오 드롭아웃 조건에서도 25.04±1.5 WER를 기록하여 성능 저하가 없음을 보여준다.
• Conformer 기반 캐스케이드 모델은 모든 노이즈 수준과 드롭아웃 비율에서 WER가 4.5 WER 이하로 유지되어 강력한 일반화 및 강건성을 입증한다.
• 극단적인 경우(예: 100% 비디오 드롭아웃)에서도 캐스케이드 모델의 성능은 오디오 전용 기준선보다 열 劣하지 않으며, 핵심 강건성 개념을 검증한다.

Figure 2: Dropping $50\%$ of the frames under different test suites.