[論文レビュー] Building Dynamic Knowledge Graphs from Text using Machine Reading\n Comprehension

Rajarshi Das, Tsendsuren Munkhdalai+3 more|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 19被引用数 44

ひとこと要約

Kg-Mrc は手続き的テキストから動的知識グラフを構築し、エンティティ状態を追跡する MRC ベースの問合せ機構を用いて、ProPara タスクで最先端の結果を達成し、Recipes データセットでも競争力のある結果を示す。

ABSTRACT

We propose a neural machine-reading model that constructs dynamic knowledge\ngraphs from procedural text. It builds these graphs recurrently for each step\nof the described procedure, and uses them to track the evolving states of\nparticipant entities. We harness and extend a recently proposed machine reading\ncomprehension (MRC) model to query for entity states, since these states are\ngenerally communicated in spans of text and MRC models perform well in\nextracting entity-centric spans. The explicit, structured, and evolving\nknowledge graph representations that our model constructs can be used in\ndownstream question answering tasks to improve machine comprehension of text,\nas we demonstrate empirically. On two comprehension tasks from the recently\nproposed PROPARA dataset (Dalvi et al., 2018), our model achieves\nstate-of-the-art results. We further show that our model is competitive on the\nRECIPES dataset (Kiddon et al., 2015), suggesting it may be generally\napplicable. We present some evidence that the model's knowledge graphs help it\nto impose commonsense constraints on its predictions.\n

研究の動機と目的

• 手続き的テキストから構造化された、進化する知識グラフの自動構築を動機づける。
• 再帰的グラフ更新を用いて時間とともに状態変化を追跡するエンティティ中心のモデルを開発する。
• グラフに条件づけられたエンティティ-状態のスパンを抽出するために機械読解を活用する。
• グラフのみの監督なしにMRCスパンからの監督でエンドツーエンドに訓練可能性を実証する。

提案手法

• DrQA ベースの MRC コンポーネントを拡張して、各時刻における現在のエンティティ状態を照会する。
• エンティティとそれらの場所を、時間とともに更新される双部グラフのノードとして表現する。
• 別名付けと状態の変化のない場合を処理するため、時点間および時点内でソフトコア参照を適用する。
• 現在のグラフ埋め込みに基づいてMRCクエリを条件付けし、ψ_{i,t}として場所のスパンを取得する。
• 状態情報を伝搬するため、残差結合を持つ再帰的グラフモジュールでグラフノードを更新する。
• 段落プレフィックス表現と事前訓練済み語埋め込みを用いて、MRCスパン損失を最小化することでエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 動的でグラフ構造化された表現は、手続き的テキストにおけるエンティティ状態の進化の理解を改善しますか？
• RQ2 進化するグラフに条件付けられたMRCベースのクエリは、静的または非グラフのベースラインよりも状態追跡性能を向上させますか？
• RQ3 ソフトコア参照と再帰が時間を跨ぐエンティティ言及の曖昧さ解消にどの程度寄与しますか？
• RQ4 学習された知識グラフは、予測を改善するための常識的な制約のようなものを課しますか？

主な発見

Cat 1	Cat 2	Cat 3	Macro-avg	Micro-avg
62.86	40.00	38.23	47.03	46.62
Human upper bound	91.67	87.66	62.96	80.76	79.69
Majority	51.01	–	–	–	–
Rule based	57.14	20.33	2.40	26.62	26.24
Feature based	58.64	20.82	9.66	29.70	29.64
EntNet	51.62	18.83	7.77	26.07	25.96
Pro-Local	62.65	30.50	10.35	34.50	33.96
Pro-Global	62.95	36.39	35.90	45.08	45.37
Kg-Mrc (ours)	62.86	40.00	38.23	47.03	46.62

• Kg-Mrc は ProPara の文レベルタスク（Task 1）と文書レベルタスク（Task 2）で最先端の結果を達成します。
• Task 1 では、Kg-Mrc は 46.62 micro-avg を達成し、従来の 45.37（Pro-Global）とアブレーションでの 47.64 micro-avg が有効性を示しています。
• Task 2 では Kg-Mrc は 56.77 F1 に達し、ProStruct（53.75）を上回っています。
• Recipes では、Kg-Mrc は 10k の訓練例しかないベースライン NPN をわずかに上回ります。
• アブレーションは、時間を跨ぐソフトコア参照と時内のソフトコア参照の両方が性能に寄与し、再帰的グラフモジュールが重要であることを示しています。
• Kg-Mrc は常識的な制約のような規約を学習し、明示的な制約なしに違反を減らします。