[論文レビュー] Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking

Tsung-Hsien Wen, Milica Gašić+5 more|arXiv (Cornell University)|Aug 7, 2015

Topic Modeling参考文献 34被引用数 78

ひとこと要約

この論文は、発話行動-発話ペairのみで学習され、意味的アライメントや手作業によるルールを一切用いない、ニューラルネットワークベースの自然言語生成（NLG）システムを提案する。このシステムは、再帰的ニューラルネットワーク（RNN）生成器、畳み込みニューラルネットワーク（CNN）リランクラ、およびバックワードRNNリランクラを統合して、なめらかで多様性に富み、意味的に正確な発話文を生成する。自動評価指標および人間評価の両方で、n-gramおよびルールベースのベースラインを上回り、より高いなめらかさ、より良いスロット正確性、より高い言語的多様性を達成している。

ABSTRACT

The natural language generation (NLG) component of a spoken dialogue system (SDS) usually needs a substantial amount of handcrafting or a well-labeled dataset to be trained on. These limitations add significantly to development costs and make cross-domain, multi-lingual dialogue systems intractable. Moreover, human languages are context-aware. The most natural response should be directly learned from data rather than depending on predefined syntaxes or rules. This paper presents a statistical language generator based on a joint recurrent and convolutional neural network structure which can be trained on dialogue act-utterance pairs without any semantic alignments or predefined grammar trees. Objective metrics suggest that this new model outperforms previous methods under the same experimental conditions. Results of an evaluation by human judges indicate that it produces not only high quality but linguistically varied utterances which are preferred compared to n-gram and rule-based systems.

研究の動機と目的

• 発話行動-発話ペアのみでエンドツーエンド学習可能なNLGアプローチを提供し、発話システムのNLGにおける広範な手作業によるカスタマイズや意味的アノテーションの必要性を低減すること。
• ルールベースのテンプレートや句構造解析木に依存せずに、スプoken対話システムにおける生成品質と言語的多様性を向上させること。
• 最小限の特徴工学を要し、ドメインや言語をまたいで一般化可能なスケーラブルなデータ駆動型NLGアプローチを構築すること。
• 自動評価指標および人間の好みの判断を用いて、n-gramおよびルールベースのベースラインと比較してモデルの性能を評価すること。

提案手法

• スロット値が記号的プレースホルダに置き換えられたデリクレーショナライズド発話文を学習データとして用い、発話行動特徴とゲーティング機構を条件として、前方RNN言語モデルを訓練する。
• 候補発話文の意味的整合性を検証するため、畳み込みニューラルネットワーク（CNN）リランクラを導入し、特にデリクレーショナライズドでカバーされていない未知語やレアなスロット値ペアに対しても有効である。
• 両方向の文脈をモデル化することで文レベルの整合性を向上させるために、バックワードRNNリランクラを追加し、なめらかさを向上させる。
• 2段階のデコードプロセスを採用：まずビームサーチにより候補発話文を生成し、次にRNN、CNN、およびバックワードRNNスコアの重み付き組み合わせを用いて再ランク付けする。
• スムーズなスコア関数を用いて、なめらかさ、意味的正確性、多様性を同時に最適化する微分可能な目的関数を用いて、モデルを共同最適化する。
• 後処理により、デリクレーショナライズド出力からスロット値を復元し、自然な聞き取りやすいドメイン特化型発話文の生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 意味的アライメントを必要とせず、発話行動-発話ペアのみで学習されたニューラルNLGモデルは、n-gramやルールベースのシステムよりも優れた出力を得られるか？
• RQ2 CNNリランクラの統合は、レアまたは未学習のスロット値ペアに対して意味的整合性をどの程度向上させるか？
• RQ3 バックワードRNNリランクラは、一方向RNNと比較して、生成発話文のなめらかさと整合性にどのように寄与するか？
• RQ4 学習データ量が、トップnサンプリングによる多様で正確な発話文生成能力に与える影響は何か？
• RQ5 提案されたアーキテクチャは、人間評価において高い意味的正確性となめらかさを維持しながら、より優れた言語的多様性を実現できるか？

主な発見

• 提案されたRNNベースのNLGモデルは、n-gramベースラインと比較して、BLEUスコアおよびスロット誤差率の両面で優れている。特に、希少なスロット値を含むハードテストセットでは1.5%の向上を達成した。
• 人間の評価者により、神経ネットワークモデルの出力は、ルールベースおよびn-gramベースラインと比較して、自然さと言語的多様性の面で好まれた。情報量となめらかさの面で、統計的に有意な好まれ方を示した。
• CNNリランクラは、未知語や希少スロット値ペアに対して顕著に性能向上をもたらし、ハードテストセットでは1.5%のBLEUスコア向上を達成した（全セットでは1%向上）。
• バックワードRNNリランクラは、すべてのn-best選択設定（n=1, 5, 10）において一貫してなめらかさを向上させ、多様性のトレードオフに関係なく安定した向上を示した。
• 1-best出力選択では2,000件の学習発話文でほぼ最適な性能を達成したが、トップ5サンプリングによる高い言語的多様性を達成するには4,156件を超える学習発話文が必要であった。
• 分散表現とエンドツーエンド学習の活用により、新しいドメインへのゼロショットまたはフェイシング適応の可能性を示している。