[論文レビュー] Differentiable Reasoning over a Virtual Knowledge Base

Bhuwan Dhingra, Manzil Zaheer+4 more|ArXiv.org|Feb 25, 2020

Topic Modeling参考文献 36被引用数 44

ひとこと要約

DrKIT は、仮想 KB として扱われるテキストコーパスを遍歴する微分可能なモジュールを導入し、疎な TFIDF 展開と MIPS で証拠を取得・構成するソフトなマルチホップ推論プロセスを用いる。

ABSTRACT

We consider the task of answering complex multi-hop questions using a corpus as a virtual knowledge base (KB). In particular, we describe a neural module, DrKIT, that traverses textual data like a KB, softly following paths of relations between mentions of entities in the corpus. At each step the module uses a combination of sparse-matrix TFIDF indices and a maximum inner product search (MIPS) on a special index of contextual representations of the mentions. This module is differentiable, so the full system can be trained end-to-end using gradient based methods, starting from natural language inputs. We also describe a pretraining scheme for the contextual representation encoder by generating hard negative examples using existing knowledge bases. We show that DrKIT improves accuracy by 9 points on 3-hop questions in the MetaQA dataset, cutting the gap between text-based and KB-based state-of-the-art by 70%. On HotpotQA, DrKIT leads to a 10% improvement over a BERT-based re-ranking approach to retrieving the relevant passages required to answer a question. DrKIT is also very efficient, processing 10-100x more queries per second than existing multi-hop systems.

研究の動機と目的

• テキストコーパスのみを仮想 KB として利用する場合の、複雑なマルチホップ質問への回答を動機づける。
• インデックス付き言及を介してソフトなリレーション経路を成長させ、追従するエンドツーエンド微分可能モジュール（DrKIT）を開発する。
• スパース表現と MIPS 配列での検索を用いた効率的なマルチホップ推論を実現し、言及エンコーダの事前学習を伴う。
• MetaQA、WikiData のスロット充填、HotpotQA で、テキストのみおよびKBベースのベースラインよりも精度と速度を向上させる。

提案手法

• 入力集合のエンティティを共起する言及に展開し、学習された関連スコアで言及をフィルタリングし、新しいエンティティ集合に集約する、これを複数ホップで繰り返す。
• 展開と集約を微分可能なスパース行列演算と top-K のハード選択の言及で表現し、エンドツーエンド訓練を可能にする。
• Z_t = Z_{t-1} . follow(R) を A_E->M、top-K フィルタリング T_K(s_t(.))、および B_M->E 集約を通じて適用する微分可能なテキスト追跡演算を用いる。
• 言及エンコーダ f(m) を KB 由来の遠隔監督からのスロット充填型 QA で事前学習し、次に言及埋め込みをインデックス化して固定埋め込みで QA タスクを訓練する。
• 言及を BERT ベースの表現でエンコードし、質問を Transformer でエンコードし、MIPS クエリ g_t(q,z_{t-1}) を生成してトップ-K 言及を効率的に取得する（O(Kp polylog|M|））。
• 活性エンティティ集合をホップごとに小さく保つよう、 ragged なスパース表現と慎重な top-K フィルタリングで効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 大規模なテキストコーパスを、微分可能推論を介してマルチホップ QA の仮想 KB として効果的に利用できるか。
• RQ2 インデックス化されたテキスト上でのスパースな微分可能マルチホップモジュールは、効率的な推論と競争力のある精度を達成するか。
• RQ3 パフォーマンスにとって TFIDF 共起展開と言及表現の事前学習はどれほど重要か。
• RQ4 エンドツーエンド訓練とカスケード型または KB-supervised 設定の違いは、マルチホップ QA タスクにどのような影響を与えるか。

主な発見

モデル	1hop	2hop	3hop
DrQA (ots)	0.553	0.325	0.197
KVMem†	0.762	0.070	0.195
GraftNet†	0.825	0.362	0.402
PullNet†	0.844	0.810	0.782
DrKIT (e2e)	0.844	0.860	0.876
DrKIT (strong sup.)	0.845	0.871	0.871
WikiData – DrQA (ots, cascade)	0.287	0.141	0.070
WikiData – PIQA (ots, cascade)	0.240	0.118	0.064
WikiData – PIQA (pre, cascade)	0.670	0.369	0.182
WikiData – DrKIT (pre, cascade)	0.816	0.404	0.198
WikiData – DrKIT (e2e)	0.834	0.469	0.244
WikiData – –BERT index	0.643	0.294	0.165

• DrKIT は MetaQA の 2ホップ精度を従来のテキストベースシステムより 5 ポイント、3ホップを 9 ポイント改善した。
• DrKIT は MetaQA における KB ベースシステムとの差を 30%（2ホップ）、70%（3ホップ）縮小した。
• WikiData のスロット充填では、DrQA および PIQA のベースラインを上回り、特にエンドツーエンド訓練で顕著だった。
• HotpotQA では、DrKIT は同等クラスのマルチホップ系より 10 倍高速で、BERT ベースのリランク時の取得品質を向上させた。
• KB由来の遠隔監督で言及エンコーダを事前学習することで、BERT 表現のみを用いる場合より大幅な効果を得た。
• 効率的なスパース行列実装と MIPS を用いたトップ-K 言及取得により、大規模コーパスへのスケーリングが可能となり、推論が 10–100 倍高速化できる。