[論文レビュー] Diversifying Task-oriented Dialogue Response Generation with Prototype Guided Paraphrasing

Phillip Lippe, Pengjie Ren+3 more|arXiv (Cornell University)|Aug 7, 2020

Speech and dialogue systems被引用数 7

ひとこと要約

本稿では、テンプレートベースの応答を多様で文脈に配慮した言い換え表現で精錬することで、タスク指向対話応答生成を向上させる、プロトタイプ誘導型の言い換えニューラルネットワークP2-Netを提案する。意味、文脈スタイル、ノイズを分離し、ランダムな会話プロトタイプを用いてスタイルのばらつきを注入することで、意味的正確性を維持したまま応答の多様性を顕著に向上させた。MultiWOZ上で自動評価および人間評価により検証された結果、顕著な性能向上が得られた。

ABSTRACT

Existing methods for Dialogue Response Generation (DRG) in Task-oriented Dialogue Systems (TDSs) can be grouped into two categories: template-based and corpus-based. The former prepare a collection of response templates in advance and fill the slots with system actions to produce system responses at runtime. The latter generate system responses token by token by taking system actions into account. While template-based DRG provides high precision and highly predictable responses, they usually lack in terms of generating diverse and natural responses when compared to (neural) corpus-based approaches. Conversely, while corpus-based DRG methods are able to generate natural responses, we cannot guarantee their precision or predictability. Moreover, the diversity of responses produced by today's corpus-based DRG methods is still limited. We propose to combine the merits of template-based and corpus-based DRGs by introducing a prototype-based, paraphrasing neural network, called P2-Net, which aims to enhance quality of the responses in terms of both precision and diversity. Instead of generating a response from scratch, P2-Net generates system responses by paraphrasing template-based responses. To guarantee the precision of responses, P2-Net learns to separate a response into its semantics, context influence, and paraphrasing noise, and to keep the semantics unchanged during paraphrasing. To introduce diversity, P2-Net randomly samples previous conversational utterances as prototypes, from which the model can then extract speaking style information. We conduct extensive experiments on the MultiWOZ dataset with both automatic and human evaluations. The results show that P2-Net achieves a significant improvement in diversity while preserving the semantics of responses.

研究の動機と目的

• テンプレートベースのシステムにおける応答の正確性と、ニューラルコーパスベースのシステムにおける自然さ／多様性のトレードオフを解消すること。
• 意味的整合性を損なわず、タスク指向対話応答の自然さと多様性を向上させること。
• 会話の文脈および履歴発話を利用したプロトタイプを活用し、応答生成におけるスタイルのばらつきを誘導する手法を開発すること。
• システム行動の意味論的整合性を厳密に保ちながら、より人間らしい多様な応答を生成可能にすること。

提案手法

• P2-Netは、応答の各成分を意味（テンプレート応答から）、文脈スタイル（会話プロトタイプから）、言い換えノイズに分離する。
• プロトタイプベースのメカニズムを用いて、過去の対話発話をランダムにサンプリングし、スタイルの参照として用いる。
• 意味と文脈スタイルを独立して符号化することで、言い換えの過程でも意味の整合性が保たれるようにする。
• 意味入力をプロトタイプからのスタイル埋め込みと組み合わせるニューラル言い換えネットワークを採用し、多様で文脈に配慮した応答を生成する。
• 意味と文脈のための別々のエンコーダを用い、クロスアテンション機構により応答を一致・精錬する。
• 推論段階では、1回の応答に対して複数のプロトタイプをサンプリングすることで、ビームサーチの確率バイアスに依存せずに確率的かつスタイルに富んだ生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 タスク指向対話において、テンプレートベースの応答生成の正確性とニューラルコーパスベース生成の多様性を統合することは可能か？
• RQ2 システム行動の意味を保持しつつ、応答に効果的にスタイルのばらつきを組み込む方法は何か？
• RQ3 プロトタイプベースの言い換えは、意味的正確性を損なわず、どの程度応答の多様性を向上させられるか？
• RQ4 プロトタイプサンプリングは、ビームサーチに比べ、多様で自然な対話応答の生成においてどのように優れているか？

主な発見

• P2-Netは、自動指標および人間評価により、ベースライン手法と比較して顕著に応答の多様性が向上したことが確認された。
• 人間評価者により、P2-Netの応答はより多様で自然であると評価され、文構造や話し方のバリエーションが顕著に増加した。
• ビームサーチの繰り返しパターンとは対照的に、'Would you like to try…?'、'What about…?'、'How about…?'といった多様な応答が生成された。
• P2-Netは、生成の初期段階で高確率のスロット語が優勢になるのを抑制し、ビームサーチによる早期スロット挿入バイアスを回避した。
• 改善は見られたが、依然として一部の応答に意味的不整合が見られ、オプション数の参照が不一致だったり、スロット解釈が矛盾していたりする事例が存在した。
• 生成時にテンプレート内の暗黙の意味（例：'many' trains）を無視するケースもあり、意味の根拠をより良く整備する必要があることが示唆された。