[논문 리뷰] Audio-Linguistic Embeddings for Spoken Sentences

Albert Haque, Michelle Guo외 2명|arXiv (Cornell University)|2019. 02. 20.

Speech Recognition and Synthesis참고 문헌 39인용 수 5

한 줄 요약

이 논문은 시간적 컨volution 네트워크(TCN)를 사용한 다중 작업 인코더-디코더 프레임워크를 통해 말문장의 청각적 및 언어적 내용을 동시에 모델링하는 청각-언어 문장 임베딩을 제안한다. 이 방법은 외부 언어 모델이 필요 없이 장기적 의존성과 고수준의 청각 개념을 더 잘 모델링하며, 음성 인식 및 정서 인식 작업에서 음소 및 어절 수준의 임베딩보다 뛰어난 성능을 보인다.

ABSTRACT

We propose spoken sentence embeddings which capture both acoustic and linguistic content. While existing works operate at the character, phoneme, or word level, our method learns long-term dependencies by modeling speech at the sentence level. Formulated as an audio-linguistic multitask learning problem, our encoder-decoder model simultaneously reconstructs acoustic and natural language features from audio. Our results show that spoken sentence embeddings outperform phoneme and word-level baselines on speech recognition and emotion recognition tasks. Ablation studies show that our embeddings can better model high-level acoustic concepts while retaining linguistic content. Overall, our work illustrates the viability of generic, multi-modal sentence embeddings for spoken language understanding.

연구 동기 및 목표

• 기존 모델이 문자, 음소 또는 어절 수준에서 작동하여 말의 언어에서 장기적 의존성을 포착하지 못하는 한계를 해결하기 위해.
• 청각적 및 언어적 내용을 동시에 포괄하는 통합된 문장 수준의 임베딩을 개발하기 위해.
• 임베딩 내에서 시간적 구조를 직접 학습함으로써 음성 인식에서 외부 언어 모델이 필요 없도록 하기 위해.
• ASR 및 정서 인식과 같은 다양한 음성 작업에서 문장 수준의 임베딩의 일반화 및 강건성을 평가하기 위해.
• 다중 모odal, 일반적인 문장 임베딩이 말 언어 이해에 실현 가능할지 탐색하기 위해.

제안 방법

• 장기적인 시간적 의존성을 음성 시퀀스에서 모델링하기 위해 확장 및 인과적 컨볼루션을 사용한 시간적 컨volution 네트워크(TCN)를 사용한다.
• 동일한 오디오 입력에서 청각적 특징(예: 스펙트로그램)과 언어적 특징(예: 어절 임베딩)을 동시에 재구성하는 다중 작업 학습 프레임워크를 적용한다.
• 고정 크기의 문장 임베딩 벡터로 중간 표현을 집계하기 위해 심층 평균 네트워크(DAN)를 적용한다.
• 청각적 및 언어적 재구성 손실을 조합한 공통 손실 목표를 사용하여 인코더-디코더 모델을 엔드 투 엔드로 훈련한다.
• LibriSpeech에서 사전 훈련한 후 인코더 가중치를 고정하고, TIMIT 및 RAVDESS에서의 하류 작업에 대해서는 디코더 헤드만 미세조정한다.
• 자기회귀적 행동을 보장하기 위해 인과적 컨볼루션 아키텍처를 사용하여 미래 정보 없이도 맥락 인식 모델링이 가능하도록 한다.

Fig. 1 : Audio-linguistic embedding for spoken sentences. Formulated as a multitask learning problem, our method learns a multi-modal spoken sentence embeddings by reconstructing linguistic and acoustic features during training.

실험 결과

연구 질문

• RQ1 단일 문장 수준의 임베딩이 말 언어의 청각적 및 언어적 내용을 효과적으로 모델링할 수 있는가?
• RQ2 다중 작업 학습을 통해 문장 임베딩을 동시에 학습하면 ASR 및 정서 분류와 같은 하류 작업에서 성능 향상이 이루어지는가?
• RQ3 문장 수준의 임베딩이 음소 및 어절 수준의 베이스라인에 비해 장기적 의존성을 모델링하는 데 얼마나 우수한가?
• RQ4 학습된 임베딩이 RAVDESS에서의 정서 인식과 같이 새로운 데이터셋 및 작업으로 일반화되는 정도는 어느 정도인가?
• RQ5 문장 길이가 음성 인식에서 문장 임베딩의 품질과 강건성에 어떤 영향을 미치는가?

주요 결과

• 자동 음성 인식에서 문장 수준의 임베딩이 음소 수준 및 어절 수준의 임베딩보다 유의미하게 뛰어나며, 기준선 대비 낮은 단어 오류율을 달성한다.
• RAVDESS 정서 인식 작업에서, 모델은 정서 데이터에 대한 미세조정 없이도 뛰어난 성능을 보였으며, 이는 강건한 일반화 능력을 시사한다.
• 제거 실험 결과, 모델은 정서 인식에 대해 훈련되지 않았음에도 불구하고 임베딩 공간에서 서로 다른 정서를 군집화하고 있음을 확인했으며, 이는 고수준의 청각 개념을 포착하고 있음을 시사한다.
• 모든 임베딩의 성능은 문장 길이가 증가함에 따라 떨어지지만, 제안된 방법은 더 단순한 기준선에 비해 더 강건하여 장기 맥락 모델링을 더 잘 처리하고 있음을 나타낸다.
• 균일 평균 기준선이 더 복잡한 심층 평균 네트워크(DAN)와 거의 유사한 성능을 보였으며, 이는 병목 현상이 집합 방법이 아니라 입력 표현에 있음을 시사한다.
• 모델이 동시에 청각적 및 언어적 특징을 재구성할 수 있다는 점은 학습된 임베딩가 rich한 다중 모odal 정보를 유지하고 있음을 확인한다.

(a) Phoneme Emebdding