[論文レビュー] Topic Aware Neural Response Generation

Xing Chen, Wei Wu+5 more|arXiv (Cornell University)|Jun 21, 2016

Topic Modeling被引用数 317

ひとこと要約

本論文は TA-Seq2Seq を提案する。これは入力メッセージと事前学習済みのトピック語に対する結合アテンション機構を用いて、より情報量が多く多様なチャットボット応答を生成するトピック認識型のシーケンス対シーケンスモデルであり、最先端のベースラインを上回る。トピック語への生成バイアスを導入し、大規模な中国語対話データで改善を実証する。

ABSTRACT

We consider incorporating topic information into the sequence-to-sequence framework to generate informative and interesting responses for chatbots. To this end, we propose a topic aware sequence-to-sequence (TA-Seq2Seq) model. The model utilizes topics to simulate prior knowledge of human that guides them to form informative and interesting responses in conversation, and leverages the topic information in generation by a joint attention mechanism and a biased generation probability. The joint attention mechanism summarizes the hidden vectors of an input message as context vectors by message attention, synthesizes topic vectors by topic attention from the topic words of the message obtained from a pre-trained LDA model, and let these vectors jointly affect the generation of words in decoding. To increase the possibility of topic words appearing in responses, the model modifies the generation probability of topic words by adding an extra probability item to bias the overall distribution. Empirical study on both automatic evaluation metrics and human annotations shows that TA-Seq2Seq can generate more informative and interesting responses, and significantly outperform the-state-of-the-art response generation models.

研究の動機と目的

• オープンドメインのチャットボット応答をより情報量豊富で魅力的にする必要性を動機付ける。
• トピック情報を事前知識として活用し、応答生成をガイドする。
• トピック語を結合アテンションとバイアス生成を介して Seq2Seq フレームワークに統合する。
• トピック認識型生成が、ベースラインより情報量・多様性・関連性を改善することを示す。
• 大規模データと人間判断を用いてアプローチを検証する。

提案手法

• 入力メッセージには双方向GRUエンコーダを用い、トピック語埋め込みにはTwitter LDAモデル由来のトピックエンコーダを用いる。
• メッセージアテンションとトピックアテンションを組み合わせて結合アテンションコンテキストを計算する。トピックアテンションは最終エンコーダ状態を用いてトピック語に重みを付ける。
• 各ターゲット語を、標準語彙生成とトピック語成分の両方を含むバイアス付き分布から生成する。
• デコーダ状態・前の語・文脈に依存する追加の確率項を加えることで、生成確率をトピック語へバイアスする。
• 大規模 Baidu Tieba データで学習し、困難度( perplexity )、distinct-1/2 指標、ヒューマン judgment で評価する。
• トピック語の取得を Twitter LDA によって行い、TA-Seq2Seq フレームワーク内で応答生成を実行するという2段階学習アプローチを活用する。

実験結果

リサーチクエスチョン

• RQ1 Seq2Seq 生成にトピック情報を組み込むことで、より情報量が豊かで興味深い応答を得られるか。
• RQ2 メッセージ内容とトピック語を統合する結合アテンション機構は、標準アテンションより応答品質を改善するか。
• RQ3 生成をトピック語へバイアスすることで、応答内のトピック関連の内容の出現と有用性が高まるか。
• RQ4 TA-Seq2Seq は自動指標と人間判断の両方で、最先端の応答生成モデルと比較してどの程度優れているか。

主な発見

モデル	PPL-D	PPL-T	distinct-1	distinct-2
S2SA	147.04	133.11	604/.091	1168/.207
S2SA-MMI	147.04	133.11	603/.151	1073/.378
S2SA-TopicConcat	150.45	132.12	898/.116	2197/.327
S2SA-TopicAttention	133.81	119.55	894/.106	2057/.277
TA-Seq2Seq	134.63	122.82	1355/.161	2970/.401

• TA-Seq2Seq はベースラインより情報量が多く、多様でトピック関連性の高い応答を生成する。
• トピック認識型バリアント（TopicConcat, TopicAttention）はノン・トピックモデルと比較して人間判断を改善し、TA-Seq2Seq が最良の性能を達成する。
• TA-Seq2Seq は困難度で競争力を持ちつつ distinct-1 および distinct-2 を向上させ、出力中の内容がより豊かであることを示す。
• トピックアテンションが最終メッセージ状態(h_T)を利用して無関係なトピック語を抑制し、関連性を高める。
• バイアス付き生成成分はトピック語の生成確率を高め、内容の豊富さに寄与する。
• 統計的検定により改善が有意であることを確認（p-value < 0.01）。