[論文レビュー] A Sequential Matching Framework for Multi-turn Response Selection in Retrieval-based Chatbots

Yu Wu, Wei Wu+4 more|arXiv (Cornell University)|Oct 31, 2017

Topic Modeling参考文献 54被引用数 6

ひとこと要約

本論文は、検索ベースのチャットボットにおける複数ターン応答選択のための順序付きマッチングフレームワーク（SMF）を提案する。SMFでは、会話文脈内の各発話が応答候補と個別に相互作用した後、再帰的ニューラルネットワーク（RNN）によって発話の依存関係をモデル化する。この手法は、2つの公開データセットにおいて最先端のモデルを顕著に上回り、順序付き畳み込みおよび注意メカニズムを用いたモデルが優れた性能を発揮するとともに、解釈可能な注意可視化を可能にしている。

ABSTRACT

We study the problem of response selection for multi-turn conversation in retrieval-based chatbots. The task requires matching a response candidate with a conversation context, whose challenges include how to recognize important parts of the context, and how to model the relationships among utterances in the context. Existing matching methods may lose important information in contexts as we can interpret them with a unified framework in which contexts are transformed to fixed-length vectors without any interaction with responses before matching. The analysis motivates us to propose a new matching framework that can sufficiently carry the important information in contexts to matching and model the relationships among utterances at the same time. The new framework, which we call a sequential matching framework (SMF), lets each utterance in a context interacts with a response candidate at the first step and transforms the pair to a matching vector. The matching vectors are then accumulated following the order of the utterances in the context with a recurrent neural network (RNN) which models the relationships among the utterances. The context-response matching is finally calculated with the hidden states of the RNN. Under SMF, we propose a sequential convolutional network and sequential attention network and conduct experiments on two public data sets to test their performance. Experimental results show that both models can significantly outperform the state-of-the-art matching methods. We also show that the models are interpretable with visualizations that provide us insights on how they capture and leverage the important information in contexts for matching.

研究の動機と目的

• 複数ターン会話における応答選択の課題に取り組むこと。ここでは、文脈理解と発話間の関係が極めて重要である。
• 従来のモデルが文脈と応答を別々に符号化するため、マッチングの前に重要な意味的情報を損なうという限界を克服すること。
• 応答選択中に重要な文脈情報を保持し、発話間の順序的依存関係をモデル化するフレームワークを設計すること。
• 解釈可能なモデルを開発し、重要な文脈部分を強調し、公開ベンチマークで頑健な性能を示すこと。

提案手法

• 順序付きマッチングフレームワーク（SMF）は、文脈内の各発話を、応答候補と個別に相互作用させることでマッチングベクトルを生成する。
• これらのマッチングベクトルは、その後、発話を通じて順次蓄積する再帰的ニューラルネットワーク（RNN）に供給され、発話間の依存関係をモデル化する。
• 最終的な文脈-応答マッチングスコアは、RNNの最終隠れ状態から計算される。
• SMFの下で2つの具体的なモデルが実装されている：畳み込みとプーリングを用いた順序付き畳み込みネットワーク（SCN）、および注意メカニズムを用いた順序付き注意ネットワーク（SAN）。
• このフレームワークは、注意可視化を可能にし、どの文脈部分がマッチングに最も影響を与えているかを解釈可能に示す。
• モデルは人間がアノテートしたポジティブペアと負例サンプリングされた応答を用いて学習され、2つの公開複数ターン対話データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 従来のベクトル符号化手法と比較して、順序付きマッチングフレームワークは、重要な文脈情報をよりよく保持・活用できるか？
• RQ2 RNNベースの順序的モデリングアプローチは、複数ターン会話における発話間の依存関係をどれほど効果的に捉えることができるか？
• RQ3 提案されたモデル（SCNおよびSAN）は、既存の最先端手法と比較して、応答選択の正確性をどの程度向上させるか？
• RQ4 提案されたモデルにおける注意メカニズムはどの程度解釈可能であり、意味的に関連する文脈部分を適切に強調するか？
• RQ5 提案されたフレームワークにおいて、モデル効率性、正確性、ハイパーパrameterへの感受性の間にはどのようなトレードオフがあるか？

主な発見

• 提案された順序付きマッチングフレームワーク（SMF）は、2つの公開複数ターン対話データセットにおいて、既存の最先端モデルを顕著に上回り、SCNおよびSANの両方がベースラインを上回る高い性能を達成している。
• Doubanデータセットでは、SCNがP@1スコア42.1%、SANが43.3%を達成し、最良のベースラインを5ポイント以上上回っている。
• Cornell Movie Dialogsデータセットでは、SCNがP@1スコア58.7%、SANが59.2%を達成し、再び最先端を上回っている。
• 可視化結果から、モデルが文脈内で「drum class」や「drum」のようなキーフレーズに注目していることが示され、解釈可能性と意味的焦点の明確さが裏付けられている。
• アブレーションスタディの結果、順序付き相互作用とRNNベースの依存関係モデリングの両方のコンponentが、性能向上に顕著に寄与していることが確認された。
• 強力な性能にもかかわらず、モデルは論理的一致性に課題を抱えており、文脈の感情や論理と矛盾する応答を生成する事例が見られ、今後の論理的推論機能の統合が求められる。