[論文レビュー] Natural Language Generation in Dialogue using Lexicalized and Delexicalized Data

Shikhar Sharma, Jing He+3 more|arXiv (Cornell University)|Feb 17, 2017

Speech and dialogue systems被引用数 15

ひとこと要約

本稿では、注意メカニズムを備えたエンコーダデコーダフレームワークを用いて、語彙化された（スロット-値ペア）および非語彙化された（スロットのみ）データの両方から同時に学習するハイブリッドニューラルネットワークモデルを提案する。両方のデータタイプを活用し、事前学習された文オートエンコーダを微調整することで、より文法的に正しい、自然な発話生成が可能となり、人的評価によってその有効性が裏付けられている。

ABSTRACT

Natural language generation plays a critical role in spoken dialogue systems. We present a new approach to natural language generation for task-oriented dialogue using recurrent neural networks in an encoder-decoder framework. In contrast to previous work, our model uses both lexicalized and delexicalized components i.e. slot-value pairs for dialogue acts, with slots and corresponding values aligned together. This allows our model to learn from all available data including the slot-value pairing, rather than being restricted to delexicalized slots. We show that this helps our model generate more natural sentences with better grammar. We further improve our model’s performance by transferring weights learnt from a pretrained sentence auto-encoder. Human evaluation of our best-performing model indicates that it generates sentences which users find more appealing.

研究の動機と目的

• 語彙化されたデータと非語彙化されたデータの両方を用いた学習により、タスク指向対話システムにおける自然言語生成の質を向上させること。
• 従来のモデルが非語彙化スロットにのみ依存するという制限を是正し、言語の自然さを損なう可能性を低減すること。
• スロット-値ペアの共同学習により、生成応答の文法的品質とスムーズさを向上させること。
• 事前学習された文オートエンコーダの重みを初期値として用いることで、トランスファーラーニングの利点を検証すること。
• 人的評価を通じて、生成された発話の自然さと魅力の程度を評価すること。

提案手法

• モデルは、対話行動から応答を生成するため、アテンション機構を備えたエンコーダデコーダアーキテクチャを採用する。
• 語彙化されたデータ（スロット-値ペア）と非語彙化されたデータ（スロットのみ）を両方組み込み、利用可能なすべての訓練例から学習できるようにする。
• トレーニング中にスロット-値ペアが明示的にアライメントされ、スロットとその値の間の意味的関係が保持される。
• 一般化性とスムーズさの向上を図るため、事前学習された文オートエンコーダからの微調整済み重みでモデルを初期化する。
• エンコーダおよびデコーダの両コンponentで再帰的ニューラルネットワーク（LSTMまたはGRU）を用いて系列モデリングを実現する。
• 生成出力のクロスエントロピー損失を最小化することで、文法的自然さと正しさの両方を最適化するトレーニング目的を設定する。

実験結果

リサーチクエスチョン

• RQ1 語彙化されたデータと非語彙化されたデータの両方からの共同学習は、生成応答のスムーズさと文法的正しさを向上させることができるか？
• RQ2 スロット-値ペアのアライメントを組み込むことで、モデルの自然な発話生成能力にどのような影響を与えるか？
• RQ3 事前学習された文オートエンコーダからのトランスファーラーニングは、対話システムにおける生成品質にどの程度向上効果をもたらすか？
• RQ4 人的評価において、非語彙化データに特化して学習したモデルと比較して、ハイブリッドデータアプローチが優れているか？
• RQ5 人的評価者は、提案モデルが生成する応答の自然さと魅力を、ベースラインと比較してどの程度高く評価するか？

主な発見

• 非語彙化データのみで学習したモデルと比較して、本モデルはより良い文法的品質と高い言語的自然さを持つ応答を生成する。
• 人的評価により、最良の性能を示したモデルが、ユーザーがより魅力的でスムーズと感じる発話を生成することが確認された。
• 語彙化データの統合により、生成テキストにおけるスロット-値関係の保持能力が向上した。
• 事前学習された文オートエンコーダからのトランスファーラーニングにより、応答品質に顕著な改善が見られた。
• 非語彙化化の制限を回避するため、両方の訓練データを活用することで、本モデルは優れた性能を達成した。