[논문 리뷰] Multi-task Learning Of Deep Neural Networks For Audio Visual Automatic Speech Recognition

Abhinav Thanda, Shankar M. Venkatesan|arXiv (Cornell University)|2017. 01. 10.

Speech and Audio Processing참고 문헌 19인용 수 15

한 줄 요약

이 논문은 깊이 신경망을 사용한 음성-시각 자동 음성 인식(AV-ASR)을 위한 다중 작업 학습(MTL) 프레임워크를 제안한다. 주 작업은 융합된 음성-시각 특징을 음향 레이블로 매핑하고, 보조 작업은 별도의 GMM/HMM에서 시각 레이블을 시각 특징으로 매핑한다. MTL 모델은 -3 dB SNR에서 기준 DNN-HMM 모델 대비 최대 7.23% 상대적 단어 오류율(WER) 향상을 달성하며, 특히 고노이즈 조건에서의 강인성을 향상시킨다.

ABSTRACT

Multi-task learning (MTL) involves the simultaneous training of two or more related tasks over shared representations. In this work, we apply MTL to audio-visual automatic speech recognition(AV-ASR). Our primary task is to learn a mapping between audio-visual fused features and frame labels obtained from acoustic GMM/HMM model. This is combined with an auxiliary task which maps visual features to frame labels obtained from a separate visual GMM/HMM model. The MTL model is tested at various levels of babble noise and the results are compared with a base-line hybrid DNN-HMM AV-ASR model. Our results indicate that MTL is especially useful at higher level of noise. Compared to base-line, upto 7\% relative improvement in WER is reported at -3 SNR dB

연구 동기 및 목표

• 공유 표현을 활용하여 음성-시각 ASR의 노이즈 강인성을 향상시키기 위해 다중 작업 학습(MTL)을 적용하는 것.
• DNN를 음성-시각 융합 및 별도의 시각 인식 작업 양쪽 모두에 대해 훈련함으로써 일반화 능력 향상 여부를 조사하는 것.
• 기존 DNN-HMM 시스템이 성능 저하가 발생하는 저SNR 조건에서 MTL의 효과를 평가하는 것.
• 다양한 노이즈 수준에서 표준 단일 작업 학습(STL) DNN-HMM 기준 모델과의 성능 비교를 통한 MTL-DNN 성능 평가.
• 모델 성능과 일반화 능력에 미치는 보조 작업 가중치(λ)의 영향을 탐색하는 것.

제안 방법

• 주 작업은 GMM/HMM를 통해 음성 데이터의 정렬에서 유도된 프레임 수준의 레이블로 음성-시각 융합 특징을 매핑하는 DNN를 훈련한다.
• 보조 작업은 별도의 시각 전용 데이터로 훈련된 GMM/HMM에서 유도된 프레임 수준의 레이블로, 시각 특징(입술 영역의 64x64 DCT 특징)을 매핑하는 별도의 DNN를 훈련한다.
• 두 작업 모두 동일한 공유 DNN 아키텍처를 사용하며, 병합된 손실 함수를 사용한다: $ C_{mtl} = C_{main} + \lambda C_{aux} $, 여기서 $ \lambda $는 보조 작업 기여도를 조절한다.
• 특징은 정규화(평균 및 분산)되며, 음성-시각 특징은 공유 DNN에 입력하기 전에 연결(concatenation)을 통해 융합된다.
• 훈련는 검증 정확도 향상에 기반한 학습률 감소를 적용한 미니배치 확률적 경사 하강법을 사용한다.
• 테스트 시점에는 오직 주 작업 출력만 사용되며, 분석 실험에서는 시각 모odal을 차단하여 모달리티 영향을 고립한다.

실험 결과

연구 질문

• RQ1 음성-시각 ASR에서 시각 전용 보조 작업을 포함한 다중 작업 학습이 노이즈 조건에서 단어 오류율(WER) 향상에 기여하는가?
• RQ2 보조 작업의 상대적 가중치(λ)가 주 음성-시각 인식 작업 성능에 어떤 영향을 미치는가?
• RQ3 저SNR 환경에서 단일 작업 학습(STL) 대비 MTL이 과적합을 줄이고 일반화 능력을 향상시키는가?
• RQ4 오직 시각 특징만 사용할 경우(MTL 대 STL), MTL 성능은 어떻게 비교되는가?
• RQ5 저수준과 중간 수준의 특징 융합 수준이 AV-ASR에서 MTL의 효과성에 어떤 영향을 미치는가?

주요 결과

• -3 dB SNR에서 λ=0.3인 MTL-DNN는 STL-DNN 기준 모델 대비 7.23% 상대적 WER 향상을 달성하며(27.1%에서 25.14%로 감소), 노이즈 강인성을 향상시킨다.
• 0 dB SNR에서 λ=0.3인 MTL-DNN는 기준 모델 대비 7.4% 상대적 WER 감소를 기록하여 뚜렷한 노이즈 강인성 향상을 보였다.
• λ=0.3인 MTL-DNN는 음성 억압 조건에서 순수한 입술 읽기(Lip-reading) 상황에서 STL-DNN 대비 3% 상대적 WER 향상을 달성하여 더 나은 시각 특징 학습 능력을 보였다.
• λ=0.1인 모델은 -3 dB SNR에서 오직 1.6% 상대적 향상만 기록하여 정규화 강도가 부적절한 것으로 나타났다.
• 청정 음성 조건에서는 STL-DNN가 MTL-DNN를 略로 승리하며, 저노이즈 환경에서 보조 작업의 간섭 또는 과적합 가능성이 제기된다.
• λ를 0.3를 초과해 증가시킬 경우 성능 저하가 발생하여, 정규화와 주 작업 최적화 사이의 상충 관계가 존재함을 시사한다.