[논문 리뷰] Recurrent Neural Network Transducer for Audio-Visual Speech Recognition

Takaki Makino, Hank Liao외 5명|arXiv (Cornell University)|2019. 11. 08.

Speech and Audio Processing참고 문헌 30인용 수 15

한 줄 요약

이 논문은 31,000시간의 YouTube 유래 오디오-비디오 데이터셋을 활용하여 최신 기술 수준의 성능을 달성하는 RNN-T 기반 오디오-비디오 음성 인식 시스템을 제안한다. 오디오 및 시각적 특징을 동기화하고 RNN-T를 통한 통합 모델링을 통해 LRS3-TED 벤치마크에서 단어 오류율(WER)을 4.5%로 감소시켰으며, 잡음이 많거나 겹치는 음성 조건에서도 뛰어난 강건성을 보였다.

ABSTRACT

This work presents a large-scale audio-visual speech recognition system based on a recurrent neural network transducer (RNN-T) architecture. To support the development of such a system, we built a large audio-visual (A/V) dataset of segmented utterances extracted from YouTube public videos, leading to 31k hours of audio-visual training content. The performance of an audio-only, visual-only, and audio-visual system are compared on two large-vocabulary test sets: a set of utterance segments from public YouTube videos called YTDEV18 and the publicly available LRS3-TED set. To highlight the contribution of the visual modality, we also evaluated the performance of our system on the YTDEV18 set artificially corrupted with background noise and overlapping speech. To the best of our knowledge, our system significantly improves the state-of-the-art on the LRS3-TED set.

연구 동기 및 목표

• 어려운 음향 환경에서 강건성을 향상시키는 확장 가능한 종단 간 오디오-비디오 음성 인식 시스템을 개발하는 것.
• 특히 잡음이 많거나 겹치는 음성 상황에서의 단모달 ASR 시스템의 한계를 해결하는 것.
• 동기화된 특징을 사용하는 통합 RNN-T 아키텍처를 통해 오디오 및 시각 모odalities를 융합함으로써 그 이점을 탐색하는 것.
• 얼굴 추적 및 캡션 정렬을 활용하여 공개 YouTube 영상에서 자동으로 완전히 자동화된 오디오-비디오 학습 데이터셋을 구축하는 것.
• 시각 모달이 특히 음성 품질이 떨어지는 조건에서 인식 성능을 크게 향상시킨다는 것을 입증하는 것.

제안 방법

• 사용자 업로드 캡션과 얼굴 추적을 활용하여 YouTube에서 자동으로 150,000시간의 오디오 전용 데이터셋을 추출하고, 이를 통해 31,000시간의 오디오-비디오 발화를 추출하였다.
• 얼굴 랜드마크 보정 및 고정된 단기 푸리에 변환 창을 사용하여 오디오 프레임 레이트를 비디오 프레임 레이트에 맞추어 오디오 및 시각적 특징을 동기화하였다.
• 오디오 특징으로 멜-필터뱅크 계수를 사용하고, 입술 영역 스냅샷에서 시각적 임베딩을 추출하기 위해 VGG 기반의 CNN을 적용하였다.
• 별도의 인코더 및 디코더 네트워크를 갖춘 RNN-T 아키텍처를 사용하였으며, 인코더는 오디오 및 시각 입력을 처리하고, 디코더는 문자 수준의 출력을 생성하였다.
• 순서 기반 손실을 사용하여 인코더, 디코더 및 조인트 네트워크를 함께 훈련시켜 암시적 언어 모델링 및 단조적 정렬을 가능하게 하였다.
• 문자 수준의 출력을 지원하여 품사 기반 변환 없이도 오픈 어휘 인식을 가능하게 하기 위해 종단 간 훈련을 구현하였다.

실험 결과

연구 질문

• RQ1 RNN-T 기반 오디오-비디오 ASR 시스템은 LRS3-TED와 같은 대규모 어휘 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 배경 잡음이나 겹치는 음성 조건에서 시각 모달은 인식 강건성을 어떻게 향상시키는가?
• RQ3 작은 수의 수동으로 캐릭터화된 데이터셋에 비해 대규모 자동 생성 오디오-비디오 데이터셋은 시스템 성능 향상에 어느 정도 기여하는가?
• RQ4 다양한 영상 품질 조건, 예를 들어 얼굴 크기, 자세, 해상도 등에서 시각 전용 ASR의 성능은 어떻게 변하는가?
• RQ5 실제 환경 조건에서 RNN-T 아키텍처는 CTC나 어텐션 기반 모델보다 오디오-비디오 음성 인식에서 우월한 성능을 보이는가?

주요 결과

• 오디오-비디오 RNN-T 시스템은 LRS3-TED 벤치마크에서 단어 오류율(WER) 4.5%를 달성하여, 발표 당시 최신 기술 수준의 결과를 기록하였다.
• 시각 전용 시스템은 LRS3-TED에서 WER 33.6%를 기록하여 이전의 시각 전용 모델인 CTC-V2P(55.1%)보다 뚜렷이 뛰어난 성능을 보였으며, 고품질 스튜디오 녹음에서도 강력한 성능을 보였다.
• 인위적인 잡음으로 인한 손상 조건에서 오디오-비디오 시스템은 WER 4.5%를 유지하였으며, 오디오 전용 시스템(4.8%)보다 뚜렷한 향상과 뛰어난 강건성을 보였다.
• 더 어려운 YTDev18 세트에서 시각 전용 시스템의 WER는 48.5%였고, 저품질 영상 세그먼트에서는 57.0%로 하락하여 영상 품질과 실제 환경의 변동성에 민감한 것을 확인하였다.
• LRS3-TED 세트에서 오디오-비디오 시스템은 TM-seq2seq 모델(7.2% WER)을 능가하여, 더 큰 데이터셋과 RNN-T 아키텍처의 장점을 입증하였다.
• 오디오 전용 학습 및 추론에서 WER는 4.8%였고, 오디오-비디오 조합에서는 4.5%를 기록하여, 대규모 오디오 전용 데이터셋이 존재하더라도 시각 입력이 일관되고 측정 가능한 성능 향상을 제공한다는 것을 보여주었다.