[論文レビュー] Response Generation by Context-aware Prototype Editing

Yu Wu, Furu Wei+4 more|arXiv (Cornell University)|Jun 19, 2018

Software Engineering Research被引用数 13

ひとこと要約

本稿では、文脈の差異に基づいてプロトタイプ応答を取得し、それを編集する「プロトタイプから編集へ」のフレームワークを、オープンドメイン応答生成のために提案する。文脈に適応した編集ベクトルを用いることで、関連性、多様性、独自性が向上する。大規模な中国語データセットにおける実験では、生成モデルおよび検索ベースのモデルを上回る主要な指標を達成した。

ABSTRACT

Open domain response generation has achieved remarkable progress in recent years, but sometimes yields short and uninformative responses. We propose a new paradigm for response generation, that is response generation by editing, which significantly increases the diversity and informativeness of the generation results. Our assumption is that a plausible response can be generated by slightly revising an existing response prototype. The prototype is retrieved from a pre-defined index and provides a good start-point for generation because it is grammatical and informative. We design a response editing model, where an edit vector is formed by considering differences between a prototype context and a current context, and then the edit vector is fed to a decoder to revise the prototype response for the current context. Experiment results on a large scale dataset demonstrate that the response editing model outperforms generative and retrieval-based models on various aspects.

研究の動機と目的

• 生成モデルが短く一般的な返答を生成する『安全な応答』問題に対処する。
• 事前に存在する高品質なプロトタイプ応答を活用することで、応答の関連性と多様性を向上させる。
• 取得した応答を現在の会話文脈に適応させる柔軟で文脈に適応した編集メカニズムを開発する。
• 固定の検索インデックスへの依存を減らす一方で、取得した応答の滑らかさと情報量を維持する。

提案手法

• モデルは、文脈の類似度に基づいて、事前に定義されたインデックスからプロトタイプ応答を取得する。
• 挿入語と削除語の単語埋め込みの重み付き平均として、現在の文脈とプロトタイプ文脈の語彙的差異から編集ベクトルを計算する。
• 挿入語とは、プロトタイプ文脈に存在するが現在の文脈に存在しない語である。削除語とは、現在の文脈に存在するがプロトタイプ文脈に存在しない語である。
• デコーダーは、隠れ状態と編集ベクトルを連結したものを条件として、GRUベースのアテンションメカニズムを用いて改訂された応答を生成する。
• エンコーダーはGRUを用いてプロトタイプ応答を符号化し、デコーダーはプロトタイプ表現に注目しながら編集ベクトルを統合する。
• モデルは、各サンプルごとに動的に計算される編集ベクトルを用いて、エンド・トゥ・エンドで序列変換の目的関数に従って学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的な生成モデルと比較して、プロトタイプベースの編集は応答の関連性と多様性を向上させるか？
• RQ2 文脈に適応した編集は、新しい会話文脈に応じて取得した応答を適応させるのにどの程度効果的か？
• RQ3 独自性と関連性の観点から、編集メカニズムは検索ベースのベースラインを上回るか？
• RQ4 挿入語と削除語の単語埋め込みは、応答品質の向上にどのような役割を果たすか？
• RQ5 モデルは、プロトタイプを単にコピーするか、関連のない応答を生成するのをどの程度回避するか？

主な発見

• 従来の序列変換生成モデルと比較して、本モデルは応答の関連性、多様性、独自性を顕著に向上させた。
• 編集ベクトルを除去すると、埋め込みベースの指標が急激に低下し、関連性の観点でその重要性が確認された。
• 編集ベクトルがなくても、多様性と独自性は高い水準を維持しており、これら品質の主な要因はプロトタイプ応答そのものであることが示された。
• 改訂された応答のうちたった2%がプロトタイプと同一であったため、モデルがコピーモデルに陥ることを回避していることが示された。
• 改訂された応答の30%がプロトタイプとは関連がないと評価されたため、モデルがしばしば保守的な編集ではなく、頻繁に再作成していることが示された。
• ケーススタディにより、『ビーガンデザート』対『トウフと野菜』のような文脈のシフトに対しても、モデルは挿入、削除、置換の編集を効果的に処理できていることが確認された。