[論文レビュー] Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding

Su Zhu, Kai Yu|arXiv (Cornell University)|Aug 6, 2016

Natural Language Processing Techniques参考文献 13被引用数 7

ひとこと要約

本稿では、スプoken言語理解におけるスロットフィリングを目的とした、新しいフォーカス機構を備えたBLSTM-LSTMエンコーダデコーダモデルを提案する。エンコーダーにおける整合された隠れ状態に注目することで、フォーカス機構はアライメント精度を向上させ、ASRエラーに対してより頑健になる。ATISデータセットにおいて、95.79%のF1スコアという、新たなSOTAを達成し、標準的なBLSTMおよびアテンションベースのモデルを上回った。

ABSTRACT

This paper investigates the framework of encoder-decoder with attention for sequence labelling based spoken language understanding. We introduce Bidirectional Long Short Term Memory - Long Short Term Memory networks (BLSTM-LSTM) as the encoder-decoder model to fully utilize the power of deep learning. In the sequence labelling task, the input and output sequences are aligned word by word, while the attention mechanism cannot provide the exact alignment. To address this limitation, we propose a novel focus mechanism for encoder-decoder framework. Experiments on the standard ATIS dataset showed that BLSTM-LSTM with focus mechanism defined the new state-of-the-art by outperforming standard BLSTM and attention based encoder-decoder. Further experiments also show that the proposed model is more robust to speech recognition errors.

研究の動機と目的

• アテンション機構の限界を是正することを目的とし、入力と出力のアライメントが単語対単語であるが、全系列にわたるアテンションスコアが発生するような、順序付けタスクにおける問題点を解消する。
• 低リソース環境およびノイズの多いASR条件下でも、順序付けタスクのモデル性能と耐性を向上させることを目的とする。
• 順序付けタスクにおける入力トークンと出力トークンの間のアライメントを明示的にモデル化するフォーカス機構を導入し、ラベルの依存関係とモデルの正確性を向上させることを目的とする。
• ATISやASRエラーを含む独自の中国語ナビゲーションデータセットを含む、標準ベンチマーク上でのモデル性能を評価することを目的とする。
• フォーカス機構がクリーンなトランスクリプションとノイズのあるトランスクリプションの両設定において、標準アテンションおよびBLSTMベースラインを上回ることを示すこと

提案手法

• 各入力語の過去および未来の文脈を捉えるために、双方向LSTM（BLSTM）をエンコーダーとして使用する。
• ステップバイステップでスロットタグを生成するために、単方向LSTMをデコーダーとして使用し、エンコーダーのバックワードパスの出力を初期隠れ状態として使用する。
• 全エンコーダー状態にわたってアテンションを行う代わりに、現在のデコーダー出力と整合する最も関連性の高いエンコーダー隠れ状態に注目するフォーカス機構を導入する。
• フォーカス機構は、アライメントスコアに基づき、重みが最も高い隠れ状態を選択することで、焦点を絞ったコンテキストベクトルを計算し、アライメントの正確性を向上させる。
• データ拡張としてスロット値の置換を用いて、学習データの多様性を高めるために、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• ATISおよび中国語ナビゲーションデータセット上でモデルを評価し、クリーンなトランスクリプションとASR仮説（誤りあり）の両方で性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 標準アテンション機構と比較して、フォーカス機構は順序付けタスクにおけるアライメント精度を向上させることができるか？
• RQ2 提案されたBLSTM-LSTMモデルにフォーカス機構を組み合わせることで、ATISデータセットにおいて、既存のSOTAモデルを上回る性能を達成できるか？
• RQ3 実世界のASR出力における音声認識エラーに対して、フォーカス機構はどの程度耐性を示すか？
• RQ4 フォーカス機構は、低リソースまたはノイズの多い環境でも、ラベル依存関係を強化し、一般化性能を向上させるか？
• RQ5 トレーニングデータが限られ、アライメントが重要となる状況下で、フォーカス機構はアテンションベースのモデルを上回る性能を示せるか？

主な発見

• フォーカス機構を備えたBLSTM-LSTMモデルは、ATISデータセットにおいて、95.79%のF1スコアという、新たなSOTAを達成し、以前の最高記録（95.66%）を上回った。
• フォーカス機構は、アテンションを備えたBLSTM-LSTMモデル（92.73%から95.79%）に対して、0.36ポイントのF1スコア向上を達成し、有意水準10%で統計的に有意であった。
• 中国語ナビゲーションデータセットでは、手動トランスクリプションで96.60%のF1スコア、ASR仮説では93.08%のF1スコアを達成し、BLSTM（ASRで91.23%）およびCRF（ASRで91.51%）を著しく上回った。
• ASRエラーに対して優れた耐性を示し、ASR仮説におけるF1スコアで、アテンション機構を備えたBLSTM-LSTMと比較して1.85%の向上を示した。
• フォーカス機構は、ラベルの依存関係を効果的にモデル化し、特に長文およびノイズの多い環境下で、エンコーダーからデコーダーへの誤差伝搬を低減した。
• スロット値の置換によるデータ拡張は一般化性能を向上させたが、訓練データの拡張に伴い一貫して利益を得られたのはフォーカス機構に限った現象であった。