[論文レビュー] Curriculum-based transfer learning for an effective end-to-end spoken language understanding and domain portability

Antoine Caubrière, Natalia Tomashenko+4 more|arXiv (Cornell University)|Jun 18, 2019

Speech Recognition and Synthesis参考文献 31被引用数 46

ひとこと要約

この論文は、カリキュラムベースの転移学習で訓練されたエンドツーエンドのSLUモデルを提案し、音声から直接セマンティック概念を抽出することで、フランス語のMEDIA/PORTMEDIAで最先端の結果を達成し、ドメイン移植性に対応する。

ABSTRACT

We present an end-to-end approach to extract semantic concepts directly from the speech audio signal. To overcome the lack of data available for this spoken language understanding approach, we investigate the use of a transfer learning strategy based on the principles of curriculum learning. This approach allows us to exploit out-of-domain data that can help to prepare a fully neural architecture. Experiments are carried out on the French MEDIA and PORTMEDIA corpora and show that this end-to-end SLU approach reaches the best results ever published on this task. We compare our approach to a classical pipeline approach that uses ASR, POS tagging, lemmatizer, chunker... and other NLP tools that aim to enrich ASR outputs that feed an SLU text to concepts system. Last, we explore the promising capacity of our end-to-end SLU approach to address the problem of domain portability.

研究の動機と目的

• labeled end-to-end SLUデータの不足を、 easier, related tasks 上でのプレトレーニングを通じて解消することを目指す。
• 音声を直接意味概念と値にマッピングするエンドツーエンドのニューラルSLUアーキテクチャを開発する。
• MEDIAからPORTMEDIAドメインへ横断する評価を行い、ドメイン移植性を検討する。
• エンドツーエンドアプローチを従来のパイプラインSLUシステムと比較し、意味抽出のための星印モードの利点を評価する。

提案手法

• スペクトログラム入力とCTC損失を用いて語彙とセマンティックタグを予測する、Deep Speech 2に触発されたエンドツーエンドのニューラルSLUアーキテクチャを使用する。
• 各概念に対応する専用の開始タグと単一の終了タグを用いて意味スロットを表現し、概念/値の抽出を可能にする。
• 訓練時に概念タグ間のテキストを単一の星印で置換するスタードモードを導入し、セマンティック領域を強調する。
• generic ASR/文字起こしから名前付きエンティティ注釈へ、 MEDIA/PORTMEDIAの概念を結合するまで訓練データをシーケンスし、各ステップで出力層のみを再初期化することで、カリキュラムベースの転移学習を適用する。
• CER/CVERを改善するために、ビーム探索デコードと5-gram LMリスコアリングで微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 カリキュラムベースの転移学習で訓練されたエンドツーエンドSLUモデルは、フランス語のSLUタスクにおいて従来のパイプラインアプローチを上回ることができるか。
• RQ2 MEDIAとPORTMEDIAデータをカリキュラムに統合することで、スロット埋めの性能を向上させ、ドメイン移植性を実現できるか。
• RQ3 星印モードとLMリスコアリングがエンドツーエンドSLUの性能に与える影響はどの程度か。
• RQ4 提案手法は関連ドメイン間でのSLUモデルの移転（MEDIAからPORTMEDIA）にどれほど有効か。

主な発見

• カリキュラムベースの転移学習を用いたエンドツーエンドSLUは、MEDIAデータのみで訓練した場合に比べてCER/CVERを大幅に削減できる（例：SF_Mだけの場合は39.8% CERと52.1% CVER、MEDIAの全カリキュラムを適用すると21.6% CERと27.7% CVER）。
• ASRでの事前訓練を経てMEDIAへ転移（ASR•SF_M）はCERを23.7%、CVERを30.3%に低減。
• カリキュラムの連鎖とMEDIA+PORTMEDIAの統合（ASR•SF_P+M•SF_M）はCERを22.2%、CVERを28.8%にさらに低減。
• ステップ間でNERを含む全カリキュラムは、MEDIA上のグリーディモードで21.6% CERと27.7% CVERを達成し、ビームリスコアリングとLMを用いると18.1% CERと22.1% CVERに向上（STARredモードを後半のステップで使用すると、いくつかの構成で16.4% CERと20.9% CVERを達成）。
• 従来のパイプラインCRFシステムと比較して、強力なASRを組み合わせたエンドツーエンドアプローチはCER/CVERで競争力を有し得る（例：パイプライン全機能で16.1% CERと20.4% CVER）。ただし95%信頼区間で統計的有意差はない。