[論文レビュー] Tie Your Embeddings Down: Cross-Modal Latent Spaces for End-to-end Spoken Language Understanding

Bhuvan Agrawal, Markus Müller+4 more|arXiv (Cornell University)|Nov 18, 2020

Speech Recognition and Synthesis被引用数 8

ひとこと要約

本稿では、BERTによる意味的ガイダンスを用いて明示的な損失関数により音声とテキスト埋め込みを整合化する、クロスモーダル潜在空間（CMLS）アーキテクチャを提案する。三重項損失はL2損失および先行するCMLS手法を上回り、2つのE2E SLUデータセットで相対的向上率1.4%および4%を達成した。特に、複雑でリソースが限られたデータにおいて汎化性能が向上した。

ABSTRACT

End-to-end (E2E) spoken language understanding (SLU) systems can infer the semantics of a spoken utterance directly from an audio signal. However, training an E2E system remains a challenge, largely due to the scarcity of paired audio-semantics data. In this paper, we treat an E2E system as a multi-modal model, with audio and text functioning as its two modalities, and use a cross-modal latent space (CMLS) architecture, where a shared latent space is learned between the `acoustic' and `text' embeddings. We propose using different multi-modal losses to explicitly guide the acoustic embeddings to be closer to the text embeddings, obtained from a semantically powerful pre-trained BERT model. We train the CMLS model on two publicly available E2E datasets, across different cross-modal losses and show that our proposed triplet loss function achieves the best performance. It achieves a relative improvement of 1.4% and 4% respectively over an E2E model without a cross-modal space and a relative improvement of 0.7% and 1% over a previously published CMLS model using $L_2$ loss. The gains are higher for a smaller, more complicated E2E dataset, demonstrating the efficacy of using an efficient cross-modal loss function, especially when there is limited E2E training data available.

研究の動機と目的

• エンドツーエンドの話 spoken language understanding (E2E SLU) におけるペaired音声・意味データの限界を克服するため、クロスモーダル学習を活用すること。
• 共有潜在空間における音声とテキスト埋め込みの整合化により、低リソースE2E SLUにおける意味的汎化性能を向上させること。
• 音声とテキスト埋め込みのモダリティ間整合化に適した損失関数（L2、ペairwiseランクイング、三重項損失）の有効性を評価すること。
• 敵対的訓練が、クロスモーダル潜在空間における音声とテキスト埋め込み間の整合化をさらに向上させられるかを検証すること。
• CMLS設定が、意図ごとのクラスタリングを向上させ、クラス内分散と誤検出を低減できることを示すこと。

提案手法

• モデルは、音声とテキストモダリティ間で共通の埋め込み空間を共有するクロスモーダル潜在空間（CMLS）を用いる。テキスト埋め込みは事前学習済みBERTモデルから得られる。
• 音声エンコーダーは、マルチモーダル損失関数を用いて、BERTベースのテキスト埋め込みに近づくように学習される。
• 3種類の損失関数を評価：L2損失、ペアワイズランクイング損失、三重項損失。三重項損失は、正例ペアとの距離を最小化すると同時に、ハードネガティブペアとの距離を最大化することを明示的に目的とする。
• 敵対的訓練は、音声埋め込みとテキスト埋め込みを区別できるように discriminator を学習させることで実施され、音声エンコーダーがよりテキストに似た表現を生成するよう強制される。
• モデルは2つの公開E2E SLUデータセット（SNIPS および ATIS）で学習され、意図分類の正確性と誤検出率を指標に性能を測定する。
• t-SNE可視化を用いて、CMLSモデルとベースラインモデルの間で、潜在空間内での音声埋め込みのクラスタリング品質を分析する。

実験結果

リサーチクエスチョン

• RQ1 明示的な損失関数を用いたクロスモーダル潜在空間が、特に低リソースデータセットにおいてE2E SLU性能を向上させるか？
• RQ2 L2、ペアワイズランクイング、三重項損失といった異なるマルチモーダル損失関数は、SLUにおける音声とテキスト埋め込みの整合化において、どのように比較されるか？
• RQ3 敵対的訓練は、共有潜在空間における音声とテキスト埋め込みの整合化を効果的に向上させられるか？
• RQ4 CMLSモデルは、音声的に似ているが意味的に逆転した意図（例：'increase' と 'decrease'）の間で、誤検出率を低下させるか？
• RQ5 CMLSモデルからの音声埋め込みは、クロスモーダル整合化がないベースラインモデルと比較して、意図クラスごとにより良いクラスタリングを示し、クラス内分散が低くなるか？

主な発見

• 三重項損失が最高の性能を示し、SNIPSおよびATISデータセットでCMLSを備えないE2Eモデルと比較して、それぞれ1.4%および4%の相対的向上を達成した。
• 三重項損失は、複雑でリソースが限られたデータセットにおける汎化性能を向上させ、より挑戦的であるSNIPSデータセットでより顕著な向上が見られた。
• CMLSモデルは、意味的に逆転しているが音声的に類似した意図ペア（例：'IncreaseBrightness' と 'DecreaseBrightness'）の誤検出率を、ベースラインの0.25から0.11に低下させた。
• t-SNE可視化では、三重項損失を用いたCMLSモデルの音声埋め込みが、意図クラスごとにより固く、より明確に分離されたクラスタを形成しており、クラス内分散が低いことが示された。
• 敵対的訓練はベースラインを上回る性能向上をもたらしたが、三重項損失を上回ることはなかった。これは、この設定において、明示的な損失ベースの整合化がディスクライマーよりも有効であることを示唆している。
• 結果から、三重項損失が、音声的に類似しているが意味的に逆転したオフターゲットインスタンスの意味的違いをよりよく捉えられると示唆された。