[論文レビュー] Exploring Machine Reading Comprehension with Explicit Knowledge

Chao Wang, Hui Jiang|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 12被引用数 4

ひとこと要約

本稿では、WordNetに基づくデータ拡張から得られる明示的知識を統合することで、回答スパン予測を向上させるMRCモデルであるKnowledge Aided Reader（KAR）を提案する。抽出された意味的関係の量を制御することで、SQuADの開発セットにおいてEMが72.4、F1が81.1を達成し、知識量に直接関連する2%の性能変動を示しており、MRCにおける明示的知識の有効性を裏付けている。

ABSTRACT

To apply general knowledge to machine reading comprehension (MRC), we propose an innovative MRC approach, which consists of a WordNet-based data enrichment method and an MRC model named as Knowledge Aided Reader (KAR). The data enrichment method uses the semantic relations of WordNet to extract semantic level inter-word connections from each passage-question pair in the MRC dataset, and allows us to control the amount of the extraction results by setting a hyper-parameter. KAR uses the extraction results of the data enrichment method as explicit knowledge to assist the prediction of answer spans. According to the experimental results, the single model of KAR achieves an Exact Match (EM) of $72.4$ and an F1 Score of $81.1$ on the development set of SQuAD, and more importantly, by applying different settings in the data enrichment method to change the amount of the extraction results, there is a $2\%$ variation in the resulting performance of KAR, which implies that the explicit knowledge provided by the data enrichment method plays an effective role in the training of KAR.

研究の動機と目的

• モデル学習プロセスに明示的な一般知識を統合することで、機械読解（MRC）の性能を向上させること。
• 従来のMRCモデルが文脈に依存するだけで外部の意味的知識を活用しないという限界を是正すること。
• 明示的に抽出された知識の量がMRCモデルの性能に与える影響を調査すること。
• WordNetを用いて、文書・質問ペアから意味的関係を体系的に抽出するデータ拡張手法の開発こと。

提案手法

• WordNetに基づくデータ拡張手法により、文書・質問ペア内の単語間の意味的関係を抽出し、明示的知識を生成する。
• ハイパーパramータを用いて抽出関係の量を制御することで、知識入力サイズのチューニングが可能となる。
• Knowledge Aided Reader（KAR）モデルは、回答スパン予測の段階で、拡張された意味的関係を明示的知識として統合する。
• KARは、注意メカニズムを用いて明示的知識と文脈・質問の表現を統合し、より優れた推論を実現する。
• モデルは、拡張された知識を補助入力として用い、SQuADデータセット上でエンドツーエンドに訓練される。
• 性能は、知識量の異なる設定下でSQuAD開発セット上でEMおよびF1スコアを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 WordNetからの明示的知識の統合は、MRCモデルの性能にどのように影響するか？
• RQ2 抽出された知識の量は、MRCモデルの予測精度にどの程度影響を与えるか？
• RQ3 WordNetに基づくデータ拡張手法は、MRCデータから意味的に関連する語間接続を効果的に抽出できるか？
• RQ4 明示的知識の使用は、知識量の異なる設定すべてにおいて一貫した性能向上をもたらすか？

主な発見

• 単一モデルのKARは、SQuAD開発セットでExact Match（EM）スコア72.4、F1スコア81.1を達成した。
• データ拡張のハイパーパramータの設定によって性能が最大2%変動し、知識量とモデル精度の直接的な相関関係を示している。
• 性能の変動は、WordNetを用いて抽出された明示的知識が、MRC予測の向上に顕著かつ測定可能な役割を果たしていることを裏付けている。
• 結果から、制御された知識のインジェクションが、特に正しい回答スパンの特定においてモデルの推論を強化することを示している。
• 元のSQuADアノテーション以外に追加の学習データを必要とせず、外部の意味的知識をMRCに効果的に統合できた。
• 知識インジェクションの有効性は、知識入力の増加に伴う一貫した性能シフトを通じて検証されており、スケーラビリティと制御可能性を示している。