[論文レビュー] Question Answering over Freebase via Attentive RNN with Similarity Matrix based CNN

Yingqi Qu, Jie Liu+3 more|arXiv (Cornell University)|Apr 10, 2018

Topic Modeling参考文献 9被引用数 45

ひとこと要約

本論文は、Freebase 上の KBQA のための AR-SMCNN を提案します。注意機構を持つ RNN と類似度行列 CNN を組み合わせて語彙レベルの相互作用を保持し、SimpleQuestion での精度と効率の向上を主張します。

ABSTRACT

With the rapid growth of knowledge bases (KBs), question answering over knowledge base, a.k.a. KBQA has drawn huge attention in recent years. Most of the existing KBQA methods follow so called encoder-compare framework. They map the question and the KB facts to a common embedding space, in which the similarity between the question vector and the fact vectors can be conveniently computed. This, however, inevitably loses original words interaction information. To preserve more original information, we propose an attentive recurrent neural network with similarity matrix based convolutional neural network (AR-SMCNN) model, which is able to capture comprehensive hierarchical information utilizing the advantages of both RNN and CNN. We use RNN to capture semantic-level correlation by its sequential modeling nature, and use an attention mechanism to keep track of the entities and relations simultaneously. Meanwhile, we use a similarity matrix based CNN with two-directions pooling to extract literal-level words interaction matching utilizing CNNs strength of modeling spatial correlation among data. Moreover, we have developed a new heuristic extension method for entity detection, which significantly decreases the effect of noise. Our method has outperformed the state-of-the-arts on SimpleQuestion benchmark in both accuracy and efficiency.

研究の動機と目的

• 大規模知識ベース上でのKBQAを動機づけ、エンコーダ-比較方式における語間相互作用の喪失に対処する。
• RNN に基づく意味モデリングと類似度行列 CNN を組み合わせて元の語の相互作用を保持する。
• KBQA のノイズを減らすためのエンティティ検出の拡張を開発する。
• SimpleQuestion ベンチマークにおける最先端の性能を示す。
• KBQA 処理の効率を向上させる。

提案手法

• 注意機構を用いた Attentive RNN を用いて意味レベルの相関を捉え、注意機構を通じてエンティティとリレーションを追跡する。
• 二方向プーリングを備えた類似度行列ベースの CNN を用いて語レベルの語の相互作用の一致を抽出する。
• RNN 内にアテンション機構を統合して、質問と KB のエンティティおよびリレーションを合わせて整列させる。
• ノイズを減らすためのエンティティ検出のヒューリスティック拡張手法。
• 語の相互作用における空間的相関をモデル化するために CNN を活用する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ-比較アプローチよりも、Attentive RNN と similarity-matrix CNN を組み合わせたモデルは、KBQA における語レベルの相互作用をより良く保持できるか？
• RQ2 AR-SMCNN モデルは SimpleQuestion ベンチマークで精度と効率を向上させるか？
• RQ3 提案されたヒューリスティックなエンティティ検出拡張はノイズを減らし、QA の性能を向上させるか？
• RQ4 アテンションは Freebase ベースの質問においてエンティティとリレーションをどの程度効果的に追跡できるか？

主な発見

• AR-SMCNN モデルは SimpleQuestion において精度と効率の点で最先端の手法を上回る。
• このアーキテクチャは、意味レベルの相関には RNN を、リテラルレベルの語の相互作用には similarity matrix を介して CNN を活用する。
• アテンション機構は知識ベース内のエンティティとリレーションを共同で追跡するのに役立つ。
• ヒューリスティックなエンティティ検出拡張はノイズを減らし、頑健性を向上させる。