[論文レビュー] Commonsense Evidence Generation and Injection in Reading Comprehension

Ye Liu, Tao Yang+3 more|arXiv (Cornell University)|May 11, 2020

Topic Modeling被引用数 6

ひとこと要約

本稿では、読解モデルの推論を向上させるために、テキストおよび事実ベースの一般常識的証拠を生成・統合するフレームワークCEGIを提案する。言語モデルと知識グラフ補完を活用し、予測を精緻化するキャプセルネットワークを用いることで、CEGIはCosmosQAのリーダーボードで83.6%の精度を達成し、最先端手法を2%上回る性能を発揮した。

ABSTRACT

Human tackle reading comprehension not only based on the given context itself but often rely on the commonsense beyond. To empower the machine with commonsense reasoning, in this paper, we propose a Commonsense Evidence Generation and Injection framework in reading comprehension, named CEGI. The framework injects two kinds of auxiliary commonsense evidence into comprehensive reading to equip the machine with the ability of rational thinking. Specifically, we build two evidence generators: the first generator aims to generate textual evidence via a language model; the other generator aims to extract factual evidence (automatically aligned text-triples) from a commonsense knowledge graph after graph completion. Those evidences incorporate contextual commonsense and serve as the additional inputs to the model. Thereafter, we propose a deep contextual encoder to extract semantic relationships among the paragraph, question, option, and evidence. Finally, we employ a capsule network to extract different linguistic units (word and phrase) from the relations, and dynamically predict the optimal option based on the extracted units. Experiments on the CosmosQA dataset demonstrate that the proposed CEGI model outperforms the current state-of-the-art approaches and achieves the accuracy (83.6%) on the leaderboard.

研究の動機と目的

• 事前学習モデルが明示的な文脈を超えて一般常識的推論を捉える能力に限界を抱える問題に対処すること。
• 外部の説明可能な一般常識的証拠を統合することで、複数選択式読解の性能を向上させること。
• テキスト的および事実的知識源を併用することで、モデルの性能を向上させること。
• 候補選択肢間の相互作用をキャプセルネットワークで捉える推論フレームワークを開発すること。
• 生成された証拠が一般常識的推論タスクにおける解釈可能性と精度を向上させることを実証すること。

提案手法

• テキスト的証拠生成器は、事前学習済み言語モデルを用いて、一般常識に基づいた自然言語の説明を生成する。
• 事実的証拠生成器は、知識グラフの三項節（例：ConceptNetから抽出）を抽出・補完し、構造的で整合性のある事実を生成する。
• テキスト的および事実的証拠は、RoBERTaに基づく文脈エンコーダーに統合され、段落、質問、選択肢、証拠の表現を豊かにする。
• 同意によるルーティングを用いたキャプセルネットワークは、言語的単位（語やフレーズ）間の関係を動的にモデル化し、選択肢の選定を改善する。
• マルチヘッドアテンション機構を用いて、段落、質問、選択肢、証拠間の表現を一致・対応付ける。
• 最終的な予測は、異なる言語的単位における階層的・動的特徴集約に基づいて、キャプセルネットワークによって行われる。

実験結果

リサーチクエスチョン

• RQ1 生成されたテキスト的および事実的一般常識的証拠は、暗黙の推論を要する読解タスクの性能向上に寄与するか？
• RQ2 両方の証拠タイプを統合することにより、単一のソースを使用する場合と比較して、モデルの精度はどの程度向上するか？
• RQ3 キャプセルネットワークは、候補選択肢間の相互作用をモデル化することで、意思決定の質をどの程度向上させるか？
• RQ4 生成された証拠は人間が読める形であり、モデルの予測を解釈するのにも役立つか？
• RQ5 CEGIフレームワークは、CosmosQA以外の一般常識的推論ベンチマークに対しても一般化可能か？

主な発見

• CEGIはCosmosQAのリーダーボードで83.6%の精度を達成し、以前の最先端手法K-Adapterを2ポイント上回った。
• テキスト的および事実的証拠の統合は、最高のパフォーマンス（CosmosQA開発セットで83.2%の精度）をもたらし、単一ソースの統合を上回った。
• キャプセルネットワークを搭載したモデルは、それを使わないモデルと比較して1.3ポイントの精度向上を示し、選択肢レベルの相互作用をモデル化する有効性を裏付けた。
• アブレーションスタディの結果、両方の証拠生成器が顕著に貢献しており、個別に使用しても性能向上が確認された。
• 生成された証拠は人間が読める形であり、モデルの透明性と信頼性を高める解釈可能な根拠を提供した。