[論文レビュー] Neural Response Generation with Meta-Words

Can Xu, Wei Wu+4 more|arXiv (Cornell University)|Jun 14, 2019

Topic Modeling参考文献 32被引用数 6

ひとこと要約

本稿は、対話行動、長さ、明確性などの応答属性を構造化表現として表すメタワードを用いることで、制御可能で説明可能なオープンドメイン応答生成を実現する、ゴールトラッキングメモリネットワーク（GTMN）を強化したseq2seqモデルを提案する。メタワードを明示的な生成目標として扱うことで、2つの大規模データセットにおいて、最先端のモデルと比較して応答の関連性、多様性、およびメタワードの正確性が顕著に向上する。

ABSTRACT

We present open domain response generation with meta-words. A meta-word is a structured record that describes various attributes of a response, and thus allows us to explicitly model the one-to-many relationship within open domain dialogues and perform response generation in an explainable and controllable manner. To incorporate meta-words into generation, we enhance the sequence-to-sequence architecture with a goal tracking memory network that formalizes meta-word expression as a goal and manages the generation process to achieve the goal with a state memory panel and a state controller. Experimental results on two large-scale datasets indicate that our model can significantly outperform several state-of-the-art generation models in terms of response relevance, response diversity, accuracy of one-to-many modeling, accuracy of meta-word expression, and human evaluation.

研究の動機と目的

• 標準的なseq2seqモデルが生じる一対多の関係性に起因する繰り返し的で一般的な応答を是正するため。
• 対話行動、長さ、コピー比、発話数、明確性といった応答属性を、構造化されたメタワードを通じて明示的に制御可能にするため。
• 解釈可能なメタワード属性を用いて応答生成の目標を透明化することで、モデルの説明性を向上させるため。
• seq2seqフレームワーク内にメタワードを明示的な生成目的として組み込むことで、応答品質と多様性を向上させるため。
• 多様な対話制御タスクに適応可能なスケーラブルで汎用性の高いフレームワークを構築するため。

提案手法

• 応答属性の構造化表現として、(キー, 型, 値)の形式で定義されるメタワードを導入し、型は実数値（r）またはカテゴリカル（c）のいずれかである。
• 標準的なseq2seqアーキテクチャに、メタワード表現を生成目標として扱うゴールトラッキングメモリネットワーク（GTMN）を統合する。
• 各メタワード変数の現在の表現状態を追跡するための状態メモリパネルと、目標達成に向けてデコードを誘導するための状態コントローラーを設計する。
• デコード中におけるメモリセル値とその目標値との距離を最小化する新しい状態更新損失を導入する。
• メタワード目標からの逸脱をペナルティ化する新しい損失項を導入し、エンドツーエンドで学習することで、指定された属性への忠実度を保証する。
• アテンションメカニズムとメモリ状態の更新を通じて、応答の関連性とメタワードの正確性の両方を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 メタワードは、応答属性を明示的に符号化することで、オープンドメイン対話生成における一対多の関係性を効果的にモデル化できるか？
• RQ2 デコード中にメタワード目標をトラッキングすることで、ゴールトラッキングメモリネットワークが制御可能で説明可能な応答生成を可能にするか？
• RQ3 潜在変数を用いるモデルと比較して、メタワードを明示的な生成目的として組み込むことで、応答の関連性、多様性、正確性が向上するか？
• RQ4 対話行動、長さ、コピー比などの異なるメタワード属性は、モデル性能と応答品質にどのように寄与するか？
• RQ5 提案されたフレームワークは、キャラクター、感情、明確性モデリングなどの多様な応答制御タスクに一般化可能か？

主な発見

• GTMN-ES2Sモデルは、Twitterデータセットで33.2%の応答関連性スコアを達成し、Redditデータセットでは19.2%を記録し、MMI-bidi や kg-CVAE などのベースラインを顕著に上回った。
• すべての5つのメタワード属性を用いた場合、Twitterデータセットにおけるパープレキシティが約50%低下（70.19 → 38.57）し、良好なモデルフィッティングを示した。
• 人的評価では、Twitterテストセットで平均1.04のスコアを達成し、すべてのベースラインを上回った。特に、kappa = 0.71という最高の人的合意度を示した。
• アブレーションスタディの結果、より多くのメタワード属性を追加することで性能が一貫して向上し、特にコピー比と明確性の追加で最大の向上が得られた。
• ゴールトラッキング機構の可視化により、GTMNがメモリセル値と目標値との距離を効果的に低減しており、正確なメタワード表現が実現されていることが確認された。
• 状態更新損失を備えたモデル（GTMN-ES2S）は、メタワード属性の制御が安定しており、それがないバージョン（GTMN-ES2S w/o SU）は特にコピー比のトラッキングにおいて制御不能な挙動を示した。