[論文レビュー] Audio-Linguistic Embeddings for Spoken Sentences

Albert Haque, Michelle Guo+2 more|arXiv (Cornell University)|Feb 20, 2019

Speech Recognition and Synthesis参考文献 39被引用数 5

ひとこと要約

本稿では、時系列畳み込みネットワーク（TCN）を用いたマルチタスクエンコーダデコーダフレームワークにより、話された文の音声的および言語的コンテンツを同時にモデル化する音声言語的文埋め込みを提案する。この手法は、音声認識および感情認識タスクにおいて、発音記号および語彙レベルの埋め込みを上回り、外部言語モデルを必要とせずに長期依存関係および高次元の音声的概念を優れた精度でモデル化することを示している。

ABSTRACT

We propose spoken sentence embeddings which capture both acoustic and linguistic content. While existing works operate at the character, phoneme, or word level, our method learns long-term dependencies by modeling speech at the sentence level. Formulated as an audio-linguistic multitask learning problem, our encoder-decoder model simultaneously reconstructs acoustic and natural language features from audio. Our results show that spoken sentence embeddings outperform phoneme and word-level baselines on speech recognition and emotion recognition tasks. Ablation studies show that our embeddings can better model high-level acoustic concepts while retaining linguistic content. Overall, our work illustrates the viability of generic, multi-modal sentence embeddings for spoken language understanding.

研究の動機と目的

• 文字、発音記号、語彙レベルで動作する既存のモデルには、話された言語における長期依存関係を捉えられないという限界があることに対処する。
• 音声的および言語的コンテンツを同時に捉える統合的で文レベルの埋め込みを構築する。
• 埋め込みに直接時間的構造を学習することで、音声認識において外部言語モデルの必要性を排除する。
• 自動音声認識（ASR）および感情認識を含む多様な音声タスクにおいて、文レベル埋め込みの汎化性および頑健性を評価する。
• 話された言語理解に向けたマルチモーダルで汎用的な文埋め込みの実現可能性を検討する。

提案手法

• 長距離の時間的依存関係を音声系列にモデル化するため、拡張および因果的畳み込みを用いた時系列畳み込みネットワーク（TCN）を用いる。
• 同じ音声入力から音声特徴（例：スペクトログラム）と言語的特徴（例：語彙埋め込み）を同時に再構成するマルチタスク学習フレームワークを採用する。
• 中間表現を固定サイズの文埋め込みベクトルに集約するために、ディープアベーリージングネットワーク（DAN）を適用する。
• 音声再構成損失と言語的再構成損失を組み合わせた共通の損失目的関数を用いて、エンコーダデコーダモデルをエンドツーエンドで訓練する。
• LibriSpeechで事前学習した後、エンコーダの重みを固定し、TIMITおよびRAVDESSの下流タスクではデコーダヘッドのみを微調整する。
• 自己回帰的動作を保証するため、因果的畳み込みアーキテクチャを用い、将来の情報を使わずに文脈に依存したモデル化を実現する。

Fig. 1 : Audio-linguistic embedding for spoken sentences. Formulated as a multitask learning problem, our method learns a multi-modal spoken sentence embeddings by reconstructing linguistic and acoustic features during training.

実験結果

リサーチクエスチョン

• RQ1 1つの文レベル埋め込みが、話された言語における音声的および言語的コンテンツを効果的にモデル化できるか？
• RQ2 マルチタスク学習により文埋め込みを同時に学習することで、音声認識や感情分類などの下流タスクの性能が向上するか？
• RQ3 文レベル埋め込みは、発音記号および語彙レベルのベースラインと比較して、長期依存関係をどの程度うまくモデル化できるか？
• RQ4 学習済み埋め込みは、RAVDESSでの感情認識など、未知のデータセットやタスクにどの程度汎化可能か？
• RQ5 文の長さが、音声認識における文埋め込みの品質および頑健性にどのように影響するか？

主な発見

• 音声文埋め込みは、自動音声認識（ASR）タスクにおいて、発音記号レベルおよび語彙レベルの埋め込みを著しく上回り、ベースラインよりも低い単語誤り率を達成した。
• RAVDESSでの感情認識タスクにおいて、感情データに対する微調整なしに良好な性能を発揮した。これは、強い汎化性を示している。
• アブレーションスタディの結果、モデルは感情認識の学習を経ていないにもかかわらず、埋め込み空間で異なる感情がクラスタリングされていることが判明し、高次元の音声的概念を捉えている可能性を示唆した。
• すべての埋め込みの性能は文の長さが増えるにつれて低下するが、提案手法は単純なベースラインよりも頑健であった。これは、長文の文脈モデリングをより効果的に処理できることを示している。
• 均一平均ベースラインは、より複雑なディープアベーリージングネットワーク（DAN）とほぼ同等の性能を示した。これは、ボトルネックが集約手法ではなく、入力表現にある可能性を示唆した。
• モデルが音声的および言語的特徴を同時に再構成できる能力は、学習済み埋め込みが豊富なマルチモーダル情報を持つことを裏付けた。

(a) Phoneme Emebdding