[論文レビュー] Constrained Decoding for Neural NLG from Compositional Representations in Task-Oriented Dialogue

Anusha Balakrishnan, Jinfeng Rao+3 more|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 44被引用数 7

ひとこと要約

本稿では、タスク指向対話における神経的テキスト生成におけるディコーススレベルの制御を向上させるために、木構造意味表現を用いることを提案する。構成的入力と構造的一致性を保証する制約付きデコードアルゴリズムを導入することで、平坦なMRベースラインと比較して、より高い意味的正確性、向上したデータ効率、およびE2Eおよび新しい天気ドメインデータセットにおけるより優れた一般化性能を達成した。

ABSTRACT

Generating fluent natural language responses from structured semantic representations is a critical step in task-oriented conversational systems. Avenues like the E2E NLG Challenge have encouraged the development of neural approaches, particularly sequence-to-sequence (Seq2Seq) models for this problem. The semantic representations used, however, are often underspecified, which places a higher burden on the generation model for sentence planning, and also limits the extent to which generated responses can be controlled in a live system. In this paper, we (1) propose using tree-structured semantic representations, like those used in traditional rule-based NLG systems, for better discourse-level structuring and sentence-level planning; (2) introduce a challenging dataset using this representation for the weather domain; (3) introduce a constrained decoding approach for Seq2Seq models that leverages this representation to improve semantic correctness; and (4) demonstrate promising results on our dataset and the E2E dataset.

研究の動機と目的

• 神経的テキスト生成におけるタスク指向対話システムにおけるディコーススレベルの制御の欠如に対処すること。
• 対話関係を含む意味表現を強化することで、神経的NLGにおける意味的正確性を向上させ、幻覚を低減すること。
• すべての必要なコンテンツが正しい構造的順序で生成されるように保証するため、木構造的MRを活用した制約付きデコード手法を開発すること。
• E2E NLGベンチマークおよび構成的MRを備えた新規の天気ドメインデータセットの両方で、アプローチを評価すること。
• 生成された応答におけるデータ効率、一般化性能、多様性の向上を示すこと。

提案手法

• 本稿では、フラットなスロット-値ペアの代わりに、対比（Contrast）、理由づけ（Justify）、結合（Join）などの対話関係を符号化する木構造的意味表現を用いることを提案する。
• 木のノードの生成を追跡し、ビームサーチ中に構造的制約を強制することで、意図した対話構造を維持する制約付きデコードアルゴリズムを導入する。
• 部分仮説の集合を維持する修正されたビームサーチを用い、それぞれの仮説が木のどのノードが、どのような順序で生成されたかを追跡する。
• デコードプロセスは、すべての必要なコンテンツが含まれており、構造的制約（例：対比節は特定の順序で生成されなければならない）が尊重されていることを保証する。
• モデルはシーケンス・トゥ・シーケンスフレームワークで学習されるが、推論時のみに木構造的入力と制約を活用する。
• 本手法は、E2E NLGデータセットおよび、対話関係を付与された新規の天気ドメインデータセットの両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 木構造的意味表現は、タスク指向対話における神経的テキスト生成の意味的正確性とディコーススの一貫性を向上させることができるか？
• RQ2 構成的入力に基づく木構造的MRに対する制約付きデコードは、対比や結合といった対話関係の制御において、平坦なMRベースラインを上回ることができるか？
• RQ3 構成的MRの使用は、未学習の構成的例へのデータ効率および一般化性能を向上させるか？
• RQ4 制約付きデコード手法は、生成された応答における意味的誤りや幻覚をどの程度低減できるか？
• RQ5 提案手法は、BLEUスコアなどの自動指標スコアを損なわずに多様性を向上させることができるか？

主な発見

• 制約付きデコードモデルは、E2Eおよび天気データセットの両方で、2,000件の訓練データで90％以上の木構造正確度を達成し、5,000件では95％以上を達成した。これは高いデータ効率を示している。
• E2Eデータセットでは、本手法はReedらの手法（制御トークンのみを用いた）よりも対比関係の制御において顕著に優れていた。
• E2Eおよび天気データで学習したモデルは、構成的E2Eテスト例において5％の構成的データしか使用しなかった場合でも76％の木構造正確度を達成し、E2Eのみで学習したモデル（53.72％の正確度）を上回った。
• S2S-Constrモデルは、標準ベースラインよりも高いBLEUスコアと、より優れた多様性指標（例：5.86のシャノンエントロピー、1.71の条件付きエントロピー）を達成しており、表現力の向上を示している。
• 従来の多様性向上手法とは異なり、自動指標のパフォーマンスを損なわせることなく、意味的正確性を向上させた。
• 本手法は構成的意味論への一般化を向上させ、あるドメイン（天気）で学習した対話構造が、別のドメイン（E2E）へも転送可能であることを示した。