[論文レビュー] Multi-Task Learning with Multi-View Attention for Answer Selection and Knowledge Base Question Answering

Yang Deng, Yuexiang Xie+6 more|arXiv (Cornell University)|Dec 6, 2018

Topic Modeling参考文献 27被引用数 9

ひとこと要約

本稿では、マルチビュー注意メカニズムを用いて、答え選択と知識ベース質問応答（KBQA）を同時に最適化するマルチタスク学習フレームワークを提案する。語彙レベル、知識レベル、クロス注意の視点を統合することで、相互作用学習により文の表現を向上させ、ベンチマークデータセット上での単一タスクベースラインと比較して、両タスクの性能が顕著に向上する。

ABSTRACT

Answer selection and knowledge base question answering (KBQA) are two important tasks of question answering (QA) systems. Existing methods solve these two tasks separately, which requires large number of repetitive work and neglects the rich correlation information between tasks. In this paper, we tackle answer selection and KBQA tasks simultaneously via multi-task learning (MTL), motivated by the following motivations. First, both answer selection and KBQA can be regarded as a ranking problem, with one at text-level while the other at knowledge-level. Second, these two tasks can benefit each other: answer selection can incorporate the external knowledge from knowledge base (KB), while KBQA can be improved by learning contextual information from answer selection. To fulfill the goal of jointly learning these two tasks, we propose a novel multi-task learning scheme that utilizes multi-view attention learned from various perspectives to enable these tasks to interact with each other as well as learn more comprehensive sentence representations. The experiments conducted on several real-world datasets demonstrate the effectiveness of the proposed method, and the performance of answer selection and KBQA is improved. Also, the multi-view attention scheme is proved to be effective in assembling attentive information from different representational perspectives.

研究の動機と目的

• 答え選択とKBQAを別個のタスクとして学習することによる制限を解消し、重複する作業を回避するとともに、タスク間の利点を活かす。
• マルチタスク学習の文脈において、共有表現とタスク固有の表現がマルチビュー注意によってどのように向上するかを調査する。
• 答え選択に知識ベース（KB）情報を組み込むことで、答え選択の性能を向上させるとともに、答え選択から得られる文脈的な文の表現を活用してKBQAの性能を向上させる。
• マルチビュー注意を介して、語彙レベル、知識レベル、意味レベルの表現を統合する、新たなマルチタスク学習方式を設計する。

提案手法

• 共有層とタスク固有層を備えたマルチタスク学習アーキテクチャを採用し、共有層が複数の視点からの情報を統合する。
• マルチビュー注意は5つの視点に適用される：語彙レベル、知識レベル、意味レベル、知識-意味レベル、および質問と答え間の共同注意。
• 答え選択とKBQAのタスク固有層が初期表現を生成し、その後、マルチビュー注意メカニズムによって精練される。
• マルチビュー注意メカニズムは、異なる表現的視点からの注意信号を統合し、タスク間の情報伝達とより豊かな文の表現を可能にする。
• モデルは、両タスクのランキング損失を同時に最適化し、重み付き和を用いてタスクの目的をバランスさせる。
• 知識レベルの注意は、質問と答えのトークンを知識ベース内のエンティティにマッピングする。一方、語彙レベルの注意は、トークンレベルの相互作用に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 単一タスク学習と比較して、答え選択とKBQAを同時に学習することで、両タスクの性能が向上するか？
• RQ2 語彙レベル、知識レベル、およびクロス注意の視点をカバーするマルチビュー注意を組み込むことで、表現学習がどのように向上するか？
• RQ3 答え選択は、知識ベース情報によってどの程度利益を受けるのか？また、答え選択から得られる文脈的な文の表現によって、KBQAはどの程度向上するのか？
• RQ4 提案されたマルチビュー注意メカニズムは、多様な表現的視点からの情報を効果的に統合し、モデルの汎化性能を向上させることができるか？

主な発見

• 答え選択とKBQAの共同学習は、ベンチマークデータセット上での最先端の単一タスク手法を顕著に上回り、マルチタスク学習の利点を示している。
• マルチビュー注意メカニズムは、語彙レベル、知識レベル、およびクロス注意の視点からの情報を効果的に統合することで、性能向上を実現している。
• 実験の結果、知識レベルの注意は関連するKB事実に注目するのを支援することが分かった。一方、語彙レベルの注意は、KBに不完全または欠落している情報に対しても補完的役割を果たす。
• アブレーションスタディの結果、各視点の注意が性能向上に寄与しており、特に共同注意と知識-意味レベルの視点が顕著な向上を示した。
• 本モデルは、答え選択およびKBQAの両タスクで最先端の結果を達成し、提案されたマルチビュー注意メカニズムの有効性を裏付けた。