[論文レビュー] Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems

Tsung-Hsien Wen, Milica Gašić+4 more|arXiv (Cornell University)|Aug 7, 2015

Speech and dialogue systems参考文献 39被引用数 126

ひとこと要約

この論文では、音声対話システムにおける自然言語生成（NLG）のための意味的条件付きLSTMベースのニューラルネットワークを提案し、手動で作成したルールが不要な非同期データ上でエンドツーエンド学習を可能にしている。モデルは交差エントロピー損失を用いて文計画と表面的表現を同時に最適化し、複数のドメインで流暢で多様性があり、人間が好む応答を生成する。

ABSTRACT

Natural language generation (NLG) is a critical component of spoken dialogue and it has a significant impact both on usability and perceived quality. Most NLG systems in common use employ rules and heuristics and tend to generate rigid and stylised responses without the natural variation of human language. They are also not easily scaled to systems covering multiple domains and languages. This paper presents a statistical language generator based on a semantically controlled Long Short-term Memory (LSTM) structure. The LSTM generator can learn from unaligned data by jointly optimising sentence planning and surface realisation using a simple cross entropy training criterion, and language variation can be easily achieved by sampling from output candidates. With fewer heuristics, an objective evaluation in two differing test domains showed the proposed method improved performance compared to previous methods. Human judges scored the LSTM system higher on informativeness and naturalness and overall preferred it to the other systems.

研究の動機と目的

• ルールベースのNLGシステムの限界を解消する。これらは硬直的で繰り返しの多い応答を生成し、ドメインや言語のスケーリングが困難である。
• NLGにおける手動で作成したテンプレートやヒューリスティクスへの依存を減らす。これにより、非同期の発話-意味ペアからデータ駆動型の学習が可能になる。
• 深層ニューラルアーキテクチャを用いて、データから直接言語の多様性と流暢さを学習することで、自然言語生成の質を向上させる。
• 最小限の人的介入でスケーラブルで多言語対応かつドメイン適合可能なNLGを実現するため、エンドツーエンド学習によるアーキテクチャを提供する。
• 2つの異なる対話ドメインにおける客観的指標と人間評価を用いて、ベースラインと比較してモデルの性能を評価する。

提案手法

• 1つの再帰的アーキテクチャ内で文計画と表面的表現を同時にモデル化する意味的条件付きLSTM（SC-LSTM）セルを提案する。
• ヒューリスティクスルールや事前定義されたテンプレートが不要なシンプルな交差エントロピー損失関数を用いて、非同期学習データ上でエンドツーエンドにモデルを訓練する。
• 複数のSC-LSTM層を積み重ねることで深層アーキテクチャを構築し、表現能力と生成品質を向上させる。
• 言語モデルを用いて候補シーケンスを再順序付けすることで、出力を精緻化するバックワードリランカーを導入する。
• 出力分布からの確率的サンプリングにより多様な応答を生成し、自然に言語の多様性を捉える。
• 生の発話-意味ペアから直接意味からテキストへのマッピングを学習できる、統合最適化フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 非同期データで学習されたニューラルネットワークベースのNLGシステムは、ルールベースおよびテンプレートベースのシステムに比べ、流暢さと自然さの面で優れているか？
• RQ2 明示的なヒューリスティクスルールがなくても、意味的条件付きLSTMモデルはどれほど言語的多様性のある応答を生成できるか？
• RQ3 提案されたエンドツーエンド学習アプローチは、従来の統計的およびコーパスベースのNLG手法と比較して、客観的および主観的評価の両面で優れているか？
• RQ4 最小限の再構成で、異なるドメイン（例：サンフアンシエゴのレストランとホテル情報）に一般化できるか？
• RQ5 自動評価および人間評価の両方で、深層アーキテクチャ（+deep）は浅い対応（sc-lstm）に比べて生成品質を向上させるか？

主な発見

• SC-LSTMモデルは、サンフアンシエゴのレストランおよびホテルドメインの両方で、BLEUおよびROUGEという2つの客観的指標において最高のパフォーマンスを達成した。
• 人間の評価者により、SC-LSTMシステムは情報量と自然さの面でベースラインを顕著に上回り、特に深層バージョン（+deep）が強く好まれた。
• 対比較評価では、深層SC-LSTMモデル（+deep）が統計的に有意に高い評価を受け、より優れたと感じられる品質を示した。
• トップ5の出力例から、構文の多様性と自然な表現が確認され、モデルが多様で流暢で文脈に適した応答を生成していることが裏付けられた。
• モデルは強力なドメイン一般化能力を示し、最小限のアーキテクチャ変更で2つの異なるオントロジー（意味的知識構造）で高いパフォーマンスを達成した。
• ヒューリスティクスの欠如とエンドツーエンド学習への依存により、開発が迅速になり、新規ドメインや言語への拡張も容易になった。