[논문 리뷰] Robust end-to-end deep audiovisual speech recognition

Ramon Sanabria, Florian Metze외 1명|arXiv (Cornell University)|2016. 11. 21.

Speech and Audio Processing참고 문헌 11인용 수 6

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC) 손실을 사용한 양방향 LSTM을 활용한 종단간 통합 음성시각 음성인식 시스템을 제안한다. 이는 음성과 시각 정보를 공동으로 융합하기 위한 것으로, IBM ViaVoice 데이터셋에서 최신 기술 수준의 성능을 달성하며, 단어 오류율(WER)을 11.7%로 낮추었고, CTC 피크 위치가 특히 공음화 효과를 포함한 말하기 동작 역학과 의미적으로 일치함을 보여주었다.

ABSTRACT

Speech is one of the most effective ways of communication among humans. Even though audio is the most common way of transmitting speech, very important information can be found in other modalities, such as vision. Vision is particularly useful when the acoustic signal is corrupted. Multi-modal speech recognition however has not yet found wide-spread use, mostly because the temporal alignment and fusion of the different information sources is challenging. This paper presents an end-to-end audiovisual speech recognizer (AVSR), based on recurrent neural networks (RNN) with a connectionist temporal classification (CTC) loss function. CTC creates sparse "peaky" output activations, and we analyze the differences in the alignments of output targets (phonemes or visemes) between audio-only, video-only, and audio-visual feature representations. We present the first such experiments on the large vocabulary IBM ViaVoice database, which outperform previously published approaches on phone accuracy in clean and noisy conditions.

연구 동기 및 목표

• HMM이나 수동적 정렬에 의존하지 않고 음성과 시각 모odalities를 효과적으로 융합하는 강건한 종단간 통합 음성시각 음성인식 시스템을 개발하는 것.
• 다중 모odal 환경에서 CTC의 '피크가 두드러진' 출력 활성화 구조의 해석 가능성, 특히 피크 위치가 말하기 동작 타이밍과 어떻게 관련되는지 조사하는 것.
• 청결한 조건과 소음 조건에서 음성시각 인식 성능 향상 측면에서 초기 융합(특징 수준)과 후기 융합(점수 수준)의 성능을 평가하는 것.
• 음성과 영상 모달 간의 시간적 비일치를 분석하고, CTC 기반 모델이 공동 학습을 통해 이를 어떻게 보정하는지 평가하는 것.
• 다중 조건 학습이 소음에 대한 강건성을 향상시키는지, 그리고 시각적 특징이 열악한 음향 환경에서 인식 정확도를 향상시키는지 확인하는 것.

제안 방법

• 음성 및 시각 스트림의 순차적 의존성을 모델링하기 위해 핵심 아키텍처로 양방향 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 모델을 종단간 통합으로 학습하기 위해 연결주의 시계열 분류(CTC) 손실을 사용하며, '공백' 토큰을 통해 길이가 다른 입력을 처리할 수 있는 정렬 자유형 순서-순서 학습을 가능하게 한다.
• RNN에 입력하기 전에 음성(FBank + 피치)과 시각(SIFT, 얼굴 랜드마크) 특징을 연결하여 초기 융합을 적용함으로써 공동 시간 모델링을 가능하게 한다.
• 실세계 음향 열악성에 대한 강건성을 향상시키기 위해 청결 및 소음 조건 데이터를 포함한 다중 조건 데이터로 학습하여 데이터 증강을 수행한다.
• 예를 들어 코덱 지연과 같은 기술적 지연을 보완하기 위해 음성, 영상, 음성시각 출력 간의 정렬 비교를 오프셋 처리한다.
• 목표 단위로 음소와 비세임을 사용하며, 표준 매핑을 통해 39개의 음소를 12개의 비세임으로 매핑하고, 음소 정확도와 단어 오류율을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대용량 어휘 데이터셋에서 종단간 CTC 기반 음성시각 융합은 기존의 HMM/GMM 시스템과 비교해 단어 오류율(WER) 측면에서 어떻게 성능을 내는가?
• RQ2 CTC 모델의 '피크가 두드러진' 활성화 구조는 특히 공음화와 관련해 음성시각 말하기 동작 맥락에서 의미적으로 해석될 수 있는가?
• RQ3 음성과 시각 특징의 초기 융합은 후기 융합이나 단일 모달 시스템에 비해 더 나은 정렬과 성능을 제공하는가?
• RQ4 음성과 영상 스트림 간의 시간 지연이 모델 정렬에 어떤 영향을 미치며, 모델은 이를 자동으로 보정할 수 있는가?
• RQ5 다중 조건 학습이 음성시각 음성인식에서 소음에 대한 강건성을 얼마나 향상시키는가?

주요 결과

• 제안된 음성시각 모델은 전체 IBM ViaVoice 데이터셋에서 단어 오류율(WER) 11.7%를 달성하여 이 벤치마크에 대해 공개된 바 중 최저 수준의 WER를 기록하였다.
• FBank + 피치 특징를 사용할 경우, 이전의 교차 엔트로피로 학습된 DNN 기반 모델보다 음소 정확도에서 뛰어난 성능을 보이며 83.0%의 음소 정확도를 달성하였다.
• SIFT 기반 영상 전용 특징는 얼굴 랜드마크와 속도 향상 특징와 함께 사용했을 때 65.7%의 비세임 정확도를 기록하였으며, 개별 구성 요소보다 뛰어난 성능을 보였다.
• 음성시각 융합의 CTC 출력 피크는 음성 전용 및 영상 전용 피크와 시간적으로 일치하며, 이는 비일치를 보정하고 강건성을 향상시켰음을 시사한다.
• 영상 모달은 항상 음성 모달보다 피크 타이밍에서 앞서며, 이는 말하기 동작에서 예측적 공음화의 존재를 뒷받침한다.
• 음성과 영상 스트림 간에 +/-330ms의 오프셋을 적용해도 WER나 음소 정확도에 유의미한 영향을 주지 않아, CTC 프레임워크에서 시간적 비일치에 대해 강건함을 입증한다.