[論文レビュー] Topic Augmented Neural Response Generation with a Joint Attention Mechanism.

Xing Chen, Wei Wu+5 more|arXiv (Cornell University)|Jun 21, 2016

Topic Modeling参考文献 27被引用数 54

ひとこと要約

本稿では、チャットボットの応答生成のため、トピック情報と投稿内容をシーケンス・トゥ・シーケンスモデルに統合する共同注目メカニズムであるTAJA-Seq2Seqを提案する。コンテンツ表現とトピック表現の両方に共同で注目することで、モデルはより的を射たかつ多様な応答を生成し、人的評価による応答品質および多様性において、標準的なアテンション付きSeq2Seqを著しく上回る。

ABSTRACT

We consider incorporating topic information as prior knowledge into the sequence to sequence (Seq2Seq) network structure with attention mechanism for response generation in chatbots. To this end, we propose a topic augmented joint attention based Seq2Seq (TAJA-Seq2Seq) model. In TAJA-Seq2Seq, information from input posts and information from topics related to the posts are simultaneously embedded into vector spaces by a content encoder and a topic encoder respectively. The two kinds of information interact with each other and help calibrate weights of each other in the joint attention mechanism in TAJA2Seq2Seq, and jointly determine the generation of responses in decoding. The model simulates how people behave in conversation and can generate well-focused and informative responses with the help of topic information. Empirical study on large scale human judged generation results show that our model outperforms Seq2Seq with attention on both response quality and diversity.

研究の動機と目的

• トピック情報を事前知識として組み込むことで、チャットボットの応答生成を改善すること。
• 標準的なSeq2Seqモデルが的を射たかつ情報豊かな応答を生成するという限界を解消すること。
• 入力投稿とトピック表現の間の動的相互作用を反映するように、注目重みを動的に補正する共同注目メカニズムを設計すること。
• デコード中にコンテンツ情報とトピック情報を併用することで、応答の多様性と品質を向上させること。

提案手法

• コンテンツエンコーダーが入力投稿をベクトル空間に埋め込み、トピックエンコーダーが別個にトピック情報を埋め込む。
• 共同注目メカニズムが、コンテンツエンコーダーとトピックエンコーダーの両方の表現を統合して注目重みを計算する。
• 注目重みは反復的に更新され、投稿内容とトピック情報の動的相互作用を反映する。
• デコーダーは注目メカニズムから得られる共同コンテキストベクトルを用いて、トークンごとに応答を生成する。
• モデルはシーケンス・トゥ・シーケンス学習を用いてエンド・ツー・エンドに訓練され、交差エントロピー損失が使用される。
• トピック情報は事前知識として統合され、応答生成をガイドする。これは人間の会話行動を模倣する。

実験結果

リサーチクエスチョン

• RQ1 トピック情報を事前知識として組み込むことで、ニューラル応答生成における応答品質が向上するか？
• RQ2 コンテンツ表現とトピック表現の間の共同注目が、応答の的中性および情報性にどのように影響するか？
• RQ3 トピック情報の統合は、標準的なアテンション付きSeq2Seqと比較して、応答の多様性を向上させるか？
• RQ4 共同注目メカニズムは、コンテンツおよびトピックの独立した注目メカニズムを上回る程度はどの程度か？

主な発見

• TAJA-Seq2Seqモデルは、人的評価による応答品質において、標準的なアテンション付きSeq2Seqを上回る。
• トピック情報の統合のおかげで、応答の多様性が著しく向上した。
• 共同注目メカニズムにより、入力投稿と生成された応答の間の整合性が、トピックコンテキストを活用することで向上した。
• 大規模な人的評価による実証結果から、本モデルは品質および多様性の両方の指標で優位性を確認した。