[論文レビュー] Topic Augmented Neural Network for Short Text Conversation.

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|Apr 30, 2016

Topic Modeling参考文献 44被引用数 15

ひとこと要約

本稿では、メッセージ-応答マッチングを向上させるためにトピック情報をニューラルマッチングフレームワークに統合する、検索ベースのチャットボットモデルであるトピック拡張ニューラルネットワーク（TANN）を提案する。文書埋め込み、メッセージ内容に重み付けされたトピック語から導出されるトピック埋め込み、およびマッチング層を組み合わせることで、TANNは大規模な人間アノテートデータセットにおいて、標準的なニューラルネットワークおよび既存のマッチングモデルを著しく上回る性能を発揮する。

ABSTRACT

Message response matching is an important task within retrieval-based chatbots. We present a topic augmented neural network(TANN), comprising a sentence embedding layer, a topic embedding layer, and a matching layer, to match messages and response candidates. TANN inherits the benefits of neutral networks on matching sentence pairs, and leverages extra topic information and their corresponding weights as prior knowledge into a matching process. In TANN, the sentence embedding layer embeds an input message and a response into a vector space, while the topic embedding layer forms a topic vector by a linear combination of the embedding of topic words whose weights are determined by both themselves and the message vector. The message vector, the response vector, and the topic vector are then fed to the matching layer to calculate a matching score. The extensive evaluation of TANN, using large human annotated data sets, shows that TANN outperforms simple neutral network methods, while beating other typical matching models with a large margin.

研究の動機と目的

• トピック情報を事前知識として統合することで、検索ベースのチャットボットにおけるメッセージ-応答マッチングを向上させること。
• 標準的なニューラルネットワークが短いテキスト会話における意味的・トピック的関連性を捉えることの限界を解消すること。
• より良いマッチングパフォーランスを実現するため、文書とトピックの表現を同時に学習するニューラルアーキテクチャを設計すること。
• 現実世界の、人間がアノテートした短いテキスト会話データセットにおける、トピック拡張表現学習の有効性を評価すること。

提案手法

• モデルは、入力メッセージおよび応答候補を密度ベクトル表現にマップする文書埋め込み層を使用する。
• トピック埋め込み層は、トピック語とメッセージベクトルの両方から導かれる重みを用いた、トピック語埋め込みの重み付き線形結合によってトピックベクトルを計算する。
• メッセージベクトル、応答ベクトル、およびトピックベクトルがマッチング層で統合され、最終的なマッチングスコアが計算される。
• トピック重みは、メッセージとトピック語間の注目メカニズムに類似した方法によって動的に決定され、文脈に適応したトピック表現が可能になる。
• 全モデルは、関連するメッセージ-応答ペairのマッチングスコアを最適化するために、コントラスト損失を用いてエンドツーエンドで訓練される。
• トピックに関する事前知識を統合することで、短いテキストマッチングタスクにおける一般化性能と関連性が向上する。

実験結果

リサーチクエスチョン

• RQ1 トピック情報を統合することで、ニューラルネットワークの短いテキストメッセージと応答のマッチング性能が向上するか？
• RQ2 標準的なニューラルネットワークベースラインと比較して、トピックに敏感な表現を組み込むことでマッチング精度はどのように変化するか？
• RQ3 メッセージの内容に基づくトピック語の動的重み付けは、マッチング効果をどの程度向上させるか？
• RQ4 提案されたTANNモデルは、多様な短いテキスト会話データセットに一般化して適応できるか？

主な発見

• TANNは、大規模な人間アノテート短いテキスト会話データセットにおいて、標準的なニューラルネットワーク手法を著しく上回る性能を発揮する。
• 他の一般的なマッチングモデルと比較して、大きなスコアの向上を達成しており、トピック拡張学習の有効性が裏付けられる。
• 事前知識としてのトピック情報の統合により、短いテキストにおける意味的・トピック的関連性を捉える能力が向上する。
• 動的トピック重み付けメカニズムにより、メッセージの文脈に一致するトピックベクトルが得られ、表現品質が向上する。
• TANNのエンドツーエンド訓練により、多様な会話シナリオにわたって強固で一般化可能なマッチングパフォーランスが得られる。