[論文レビュー] Neural Matching Models for Question Retrieval and Next Question Prediction in Conversation

Yang Liu, Hamed Zamani+3 more|arXiv (Cornell University)|Jul 17, 2017

Topic Modeling参考文献 27被引用数 26

ひとこと要約

本稿では、質問検索および会話における次問予測のためのニューラルマッチングモデルを提案する。深層ニューラルネットワークを用いてシーケンス表現およびマッチングスコアを学習する。結果として、ニューラルモデルは質問検索においてベースラインを著しく上回り、長文シーケンスの制限を受けるため、会話文脈ではLSTMを含まないより単純なモデルが優れていることが示された。

ABSTRACT

The recent boom of AI has seen the emergence of many human-computer conversation systems such as Google Assistant, Microsoft Cortana, Amazon Echo and Apple Siri. We introduce and formalize the task of predicting questions in conversations, where the goal is to predict the new question that the user will ask, given the past conversational context. This task can be modeled as a "sequence matching" problem, where two sequences are given and the aim is to learn a model that maps any pair of sequences to a matching probability. Neural matching models, which adopt deep neural networks to learn sequence representations and matching scores, have attracted immense research interests of information retrieval and natural language processing communities. In this paper, we first study neural matching models for the question retrieval task that has been widely explored in the literature, whereas the effectiveness of neural models for this task is relatively unstudied. We further evaluate the neural matching models in the next question prediction task in conversations. We have used the publicly available Quora data and Ubuntu chat logs in our experiments. Our evaluations investigate the potential of neural matching models with representation learning for question retrieval and next question prediction in conversations. Experimental results show that neural matching models perform well for both tasks.

研究の動機と目的

• コミュニティQAシステムや検索システムにおいて重要なタスクである質問検索のためのニューラルマッチングモデルの有効性を評価すること。
• 会話システムにおける次問予測にニューラルマッチングモデルを適用可能かどうかを調査すること。これはシーケンスマッチングの新しい応用例である。
• 従来の語句マッチングベースラインと比較し、長文会話文脈における性能のトレードオフを分析すること。
• 表現中心のアーキテクチャか、相互作用中心のアーキテクチャか、どちらが会話文脈におけるシーケンスマッチングにおいてより優れた結果をもたらすかを検討すること。

提案手法

• クエリおよび候補質問シーケンスを独立して密なベクトル表現にエンコードする表現中心のニューラルマッチングモデルを採用した。
• 双方向LSTMおよびフィードフォワード層を含む深層ニューラルネットワークを用いて、質問シーケンスの文脈表現を学習した。
• コサイン類似度や学習された相互作用層などのマッチング関数を用いて、文脈と候補質問の間のマッチングスコアを計算した。
• QuoraおよびUbuntuチャットログからの教師ありラベルを用いて、ランキング性能を最適化する損失関数を用いて、モデルをエンドツーエンドで訓練した。
• 従来の語句マッチングベースライン（例：BM25）と組み合わせることで、ハイブリッド検索戦略を検討した。
• Mean Average Precision（MAP）およびNormalized Discounted Cumulative Gain（nDCG）などの標準的な情報検索指標を用いて、モデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 従来の語句ベース手法と比較して、ニューラルマッチングモデルは意味的に類似した質問を検索する際にどの程度有効であるか？
• RQ2 会話履歴を入力として与えた場合、ニューラルマッチングモデルは会話における次問予測に一般化可能か？
• RQ3 LSTMを含むか否かにかかわらず、さまざまなニューラルアーキテクチャは、長文会話履歴を処理する際にどの程度の性能を示すか？
• RQ4 ニューラルマッチングと従来の検索手法を組み合わせることで、質問検索および次問予測タスクの性能が向上するか？
• RQ5 LSTMのような再帰的アーキテクチャは、次問予測のための長文会話文脈をモデル化する際に、どのような制限を受けるか？

主な発見

• Quoraデータセットにおける質問検索タスクにおいて、ニューラルマッチングモデルはすべてのベースライン手法を著しく上回り、MAPおよびnDCGスコアが高かった。
• 従来の語句ベース検索（例：BM25）にニューラルマッチングを追加することで、単独で使用する場合よりも大きな性能向上が得られた。
• Ubuntuチャットログにおける次問予測タスクでは、LSTM層を含まないモデルがLSTMを含むモデルを上回った。これはLSTMが長文会話履歴を処理する際に困難を抱えることを示している。
• 再帰的コンponentを含まないより単純なニューラルアーキテクチャが、次問予測においてより効果的であった。これは、複雑さが低く、長文脈における一般化性能が優れているためと推察される。
• 本研究では、ニューラルマッチングモデルが質問検索および会話的次問予測の両方において有効であることが示された。特に、長文脈性能に与えるアーキテクチャ選択の影響が重要であることが明らかになった。
• ラベル付きデータが限られる状況において、BM25から合成データを生成する弱教師あり学習が、ニューラルモデルの学習に有効であることが示された。