[論文レビュー] Response Selection with Topic Clues for Retrieval-based Chatbots

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|Apr 30, 2016

Topic Modeling被引用数 11

ひとこと要約

本稿では、LDAで特定された語から得られるトピック情報を統合することで、リtrievalベースのチャットボットにおける応答選択を向上させるトピックに配慮した畳み込みニューラルテンソルネットワーク、TACNTNを提案する。メッセージと応答のベクトルを、トピックに配慮した重み付きトピック語から導出されるトピックベクトルと併せて同時に学習することで、特に内容の豊富な応答において、マッチング精度が顕著に向上し、公開データセットおよび人間によるアノテーション付きデータセットの両方で最先端の手法を上回る。

ABSTRACT

We consider incorporating topic information into message-response matching to boost responses with rich content in retrieval-based chatbots. To this end, we propose a topic-aware convolutional neural tensor network (TACNTN). In TACNTN, matching between a message and a response is not only conducted between a message vector and a response vector generated by convolutional neural networks, but also leverages extra topic information encoded in two topic vectors. The two topic vectors are linear combinations of topic words of the message and the response respectively, where the topic words are obtained from a pre-trained LDA model and their weights are determined by themselves as well as the message vector and the response vector. The message vector, the response vector, and the two topic vectors are fed to neural tensors to calculate a matching score. Empirical study on a public data set and a human annotated data set shows that TACNTN can significantly outperform state-of-the-art methods for message-response matching.

研究の動機と目的

• 意味的ギャップを埋めるためにトピック情報を統合することで、リtrievalベースのチャットボットにおけるメッセージ-応答マッチングを向上させること。
• 新しいトピックを導入する高コンテンツの応答を適切に選択できないという、標準的なマッチングモデルの課題に対処すること。
• より良いランク付けを実現するため、メッセージ-応答の意味的整合性とトピック関連性を同時にモデル化するニューラルネットワークアーキテクチャを設計すること。
• オープンドメインで単一ターンの応答選択において、トピックに配慮したモデリングの有効性を実証的に検証すること。

提案手法

• TACNTNは、メッセージと応答を密なベクトルにエンコードするためのシアンプルCNNを用い、意味的表現を捉える。
• メッセージおよび応答のトピック語は、事前に訓練済みのTwitter LDAモデルから抽出され、トピック語リストが形成される。
• トピックベクトルは、トピック語の埋め込みの重み付き平均によって生成され、重みはメッセージおよび応答ベクトルからのアテンションに基づいて学習される。
• マッチングスコアは、3つのベクトルペア（メッセージ, 応答）、（メッセージ, 応答トピック）、（メッセージトピック, 応答）の間でニューラルテンソルネットワークを用いて計算される。
• モデルはエンド・トゥ・エンドの学習により、マッチングスコアを同時に最適化することで、動的かつトピック関連性の学習が可能になる。
• 本手法はトピックスイグナルを静的特徴として統合するのではなく、入力の意味的文脈に応じて適応的かつ文脈に配慮した成分として統合する。

実験結果

リサーチクエスチョン

• RQ1 トピック情報は、特に内容の豊富な応答において、リtrievalベースのチャットボットにおけるメッセージ-応答マッチングを向上させることができるか？
• RQ2 トピックに配慮したベクトルを統合することで、オープンドメイン会話システムにおけるニューラルマッチングモデルの性能にどのような影響を与えるか？
• RQ3 メッセージのトピックと応答のトピックの相対的な寄与度は、応答選択の向上にどの程度寄与するか？
• RQ4 メッセージおよび応答表現と併せてトピック重みを同時に学習することは、固定または拡張されたトピック表現を用いる手法を上回るか？

主な発見

• TACNTNは、UbuntuおよびTiebaの両データセットにおいて、すべてのベースラインモデルを有意に上回り、t検定のp値が ≤ 0.01 であった。
• Ubuntuデータセットでは、TACNTNはR@1が0.759を達成し、次に良いベースラインより0.004高い性能を示し、TiebaデータセットではMRRが0.804を記録した。
• 長文の応答（≥10語）において最も大きな改善を示した。CNTNの正答率0.702からTACNTNの0.723に上昇し、内容豊富な返答に対して顕著な向上が確認された。
• アブレーションスタディの結果、アテンションによるトピックベクトル重みの学習（TACNTN）が、固定平均（TACNTN avg）や単純な拡張（TACNTN exp）を上回ることが確認された。
• メッセージと応答の両方のトピックベクトルが不可欠であることが判明した。どちらか一方を削除すると（TACNTN msg または TACNTN res）、性能が低下し、双方向のトピック整合性が重要であることが証明された。
• 事例スタディでは、TACNTNは「キャラクター」と「映画」のようなトピック信号を活用することで、意味的に非対称なバットマンのキャラクターに関する応答を正しくマッチングした。