[論文レビュー] From Audio to Semantics: Approaches to end-to-end spoken language understanding

Parisa Haghani, Arun Narayanan+7 more|arXiv (Cornell University)|Sep 24, 2018

Speech Recognition and Synthesis参考文献 17被引用数 14

ひとこと要約

この論文は、音声を入力として、音声認識（ASR）と自然言語理解（NLU）を統合的に最適化するエンド・ツー・エンドのシーケンス・ツー・シーケンスモデルを提案する。中間のテキスト表現を組み込み、共同学習を実施することで、独立学習に比べて発話の語誤り率（WER）が相対的に18%改善され、ドメインおよび意図予測のF1スコアは同等または上回る。

ABSTRACT

Conventional spoken language understanding systems consist of two main components: an automatic speech recognition module that converts audio to a transcript, and a natural language understanding module that transforms the resulting text (or top N hypotheses) into a set of domains, intents, and arguments. These modules are typically optimized independently. In this paper, we formulate audio to semantic understanding as a sequence-to-sequence problem [1]. We propose and compare various encoder-decoder based approaches that optimize both modules jointly, in an end-to-end manner. Evaluations on a real-world task show that 1) having an intermediate text representation is crucial for the quality of the predicted semantics, especially the intent arguments and 2) jointly optimizing the full system improves overall accuracy of prediction. Compared to independently trained models, our best jointly trained model achieves similar domain and intent prediction F1 scores, but improves argument word error rate by 18% relative.

研究の動機と目的

• 従来のSLUシステムではASRとNLUモジュールを独立して学習するため、誤りの伝搬や最適化目標の不一致が生じ、性能が最適でない問題に対処する。
• エンド・ツー・エンドのシーケンス・ツー・シーケンスモデルが、生の音声からASRとNLUを同時に最適化でき、意味的予測精度を向上させるかを調査する。
• 中間のテキスト表現と共同学習が、SLUにおける意図および引数予測の品質に与える影響を評価する。
• 実世界のSLUデータを用いて、ベースライン、マルチタスク、マルチステージ、および共同学習の各訓練戦略を比較し、最も効果的なアーキテクチャを同定する。
• エンド・ツー・エンドのモデルが、CFGパーサーを用いて意味ラベルを生成する従来のパイプラインを上回る性能を示すかを評価する。

提案手法

• SLUをシーケンス・ツー・シーケンス問題として定式化し、エンコーダーが生の音声を処理し、デコーダーがドメイン、意図、引数予測を直接出力する。
• 音声と意味的出力の間のアライメントをモデル化するため、共有エンコーダーとタスク固有のデコーダーを備えたアテンションベースのエンコーダー・デコーダー構造を採用する。
• マルチステージ訓練戦略を実装し、まずモデルがテキストトランスクリプトを予測し、その後その出力を用いて意味を予測する。最終段階で共同最適化を実施する。
• シーケンス生成プロセスにおける誤り伝搬を軽減し、学習効率を向上させるために、マルチステージモデルにサンプリングソフトマックスを適用する。
• 交差エントロピー損失を用いてモデルを学習し、ASRとNLUの目的関数を共同で最適化することで、文字起こしの正確性と意味的関連性を一致させる。
• 評価のため、モデルが出力するトランスクリプトにCFGパーサーを適用し、正例に類似した意味ラベルを導出する。これにより、標準的なNLUパイプラインと比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 音声からASRとNLUを共同でエンド・ツー・エンドに学習させることで、独立して学習されたモデルに比べて意味的予測精度が向上するか？
• RQ2 エンド・ツー・エンドのSLUシステムにおいて、高品質な意味的予測を達成するためには中間のテキスト表現が必要か？
• RQ3 共同最適化は、特に標準的なASR-NLUパイプラインと比較して、引数の語誤り率（WER）にどのように影響を与えるか？
• RQ4 限定的なNLUデータで学習されたエンド・ツー・エンドモデルでも、ASR出力にCFGパーサーを適用した評価において、競争力のある性能を達成できるか？
• RQ5 ベースライン、マルチタスク、マルチステージ、共同学習の各訓練戦略は、WER、F1スコア、意味的正確性の観点からどのように比較できるか？

主な発見

• 最も優れた共同学習モデルは、独立学習モデルに比べて引数の語誤り率（WER）を相対的に18%改善し、ドメインおよび意図のF1スコアは同等を維持している。
• 共同最適化により、引数予測のWERが顕著に低減され、マルチステージ（サンプリングソフトマックス）モデルでは11.26%のWERを達成し、ベースラインに比べて0.6%の絶対的改善を示した。
• マルチタスクモデルは97.2の最高の意図F1スコアを達成し、ベースラインに比べ1.3ポイント向上し、共同学習の利点を示している。
• モデルが出力するトランスクリプトにCFGパーサーを適用しても、共同学習モデルは独立学習モデルを上回り、意図F1と引数WERの両方で優れた性能を示しており、ASR品質の向上を示している。
• 中間トランスクリプトを経由せずに音声から直接意味を予測するモデルは、中間テキスト表現を備えたモデルに比べて性能が劣っており、その重要性を裏付けている。
• 共同学習戦略により、ASR部が意味的目標に整合した文字起こしパターンを学習でき、意図および引数予測に最も重要な誤りを低減している。