[論文レビュー] Explicit Utilization of General Knowledge in Machine Reading Comprehension

Chao Wang, Hui Jiang|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 40被引用数 9

ひとこと要約

本稿では、WordNetから抽出した語間意味的関係（例：類義語、下位関係）を一般知識として明示的に統合することで、注目メカニズムを強化するエンドツーエンドの機械読解モデルであるKnowledge Aided Reader（KAR）を提案する。KARは標準ベンチマークで最先端の性能を達成しており、特に訓練データが限られている場合や汚染されている場合に、従来のモデルよりも顕著に高いデータ効率性と敵対的ノイズに対する耐性を示す。

ABSTRACT

To bridge the gap between Machine Reading Comprehension (MRC) models and human beings, which is mainly reflected in the hunger for data and the robustness to noise, in this paper, we explore how to integrate the neural networks of MRC models with the general knowledge of human beings. On the one hand, we propose a data enrichment method, which uses WordNet to extract inter-word semantic connections as general knowledge from each given passage-question pair. On the other hand, we propose an end-to-end MRC model named as Knowledge Aided Reader (KAR), which explicitly uses the above extracted general knowledge to assist its attention mechanisms. Based on the data enrichment method, KAR is comparable in performance with the state-of-the-art MRC models, and significantly more robust to noise than them. When only a subset (20%-80%) of the training examples are available, KAR outperforms the state-of-the-art MRC models by a large margin, and is still reasonably robust to noise.

研究の動機と目的

• データ効率性とノイズに対する耐性において、MRCモデルと人間の読解者とのギャップを埋めること。
• 現在のMRCモデルが単に文脈固有の情報に依存しており、一般の世界知識にアクセスできないという限界を解決すること。
• 語間意味的関係（例：類義語、下位関係）を構造化された一般知識として明示的に活用する手法を開発すること。
• 一般知識が注目メカニズムにどのように影響を与えるかを理解・制御できるエンドツーエンドのMRCモデルを設計すること。
• 明示的な一般知識の統合が、特に低データおよびノイズのある条件下でモデル性能を向上させるかどうかを評価すること。

提案手法

• データ拡張法として、各文書-質問ペアからWordNetを用いて語間意味的関係（例：類義語、下位関係）を抽出する。
• 意味的関係は、WordNetにおけるマルチホップの連結経路を介して抽出され、'facilitate' → 'help' や 'Brooklyn' → 'borough' のような関係を捉える。
• 抽出された意味的関係は一般知識として扱われ、KARモデルの入力として提供される。
• KARは、回答スパン予測の際に関連する意味的関係にのみ注目する、知識支援型注目メカニズムを採用する。
• 注目重みは、事前に抽出された意味的関係の関連性によって動的に調整され、エンドツーエンドで学習される。
• SQuADを用いて、訓練データ量の変動および敵対的ノイズ（AddSent, AddOneSent）を加えた状況で、データ効率性と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 WordNetから抽出した語間意味的関係の明示的統合は、MRCモデルの性能向上に寄与するか？
• RQ2 一般知識の使用は、テスト例における敵対的ノイズに対するモデルの耐性を高めるか？
• RQ3 訓練データのわずかな割合しか利用できない状況でも、知識拡張MRCモデルは高い性能を維持できるか？
• RQ4 明示的知識の使用と暗黙的知識符号化とを比較した場合、解釈可能性と制御性の面でどのように異なるか？
• RQ5 WordNetからのマルチホップ意味的関係は、MRCにおける回答予測にどの程度寄与するか？

主な発見

• KARはSQuAD開発セットにおいて競争力のある性能を達成し、EMおよびF1スコアで最先端モデルと同等の結果を示した。
• 訓練データの20％での学習時、KARはSANおよびQANetを大きく上回り、優れたデータ効率性を示した。
• 敵対的テストセット（AddSentおよびAddOneSent）においても、KARはSANおよびQANetよりも顕著に高い性能を維持し、ノイズへの耐性が優れていることを示した。
• WordNetから事前に抽出された意味的関係の使用により、訓練信号の有効な拡張が可能となり、複数の例にわたって出現するため、実質的な訓練データ量が増加した。
• KARの注目メカニズムは、不要な意味的関係（例：金融文脈における'bank'と'waterside'）を抑制でき、関連する知識に焦点を当てる能力を向上させた。
• 性能向上の要因は、一般知識を明示的かつ制御可能に利用できる点に起因し、表面的な語の一致を超えた推論を可能にした。