[論文レビュー] Unification-based Reconstruction of Explanations for Science Questions.

Marco Valentino, Mokanarangan Thayaparan+1 more|arXiv (Cornell University)|Mar 31, 2020

Topic Modeling被引用数 4

ひとこと要約

本論文では、関連性スコアと統合スコアを組み合わせて説明的事実の順序付けを行う、統合に基づくフレームワークを提案する。このフレームワークは、Worldtreeコーパスにおいて最先端の性能を達成し、挑戦的な複数選択問題においてBERTの精度を最大で15.69%向上させつつ、大規模な知識ベースに対してもスケーラブルである。

ABSTRACT

The paper presents a framework to reconstruct explanations for multiple choices science questions through explanation-centred corpora. Building upon the notion of unification in science, the framework ranks explanatory facts with respect to question and candidate answer by leveraging a combination of two different scores: (a) A Relevance Score (RS) that represents the extent to which a given fact is specific to the question; (b) A Unification Score (US) that takes into account the explanatory power of a fact, determined according to its frequency in explanations for similar questions. An extensive evaluation of the framework is performed on the Worldtree corpus, adopting IR weighting schemes for its implementation. The following findings are presented: (1) The proposed approach achieves competitive results when compared to state-of-the-art Transformers, yet possessing the property of being scalable to large explanatory knowledge bases; (2) The combined model significantly outperforms IR baselines (+7.8/8.4 MAP), confirming the complementary aspects of relevance and unification score; (3) The constructed explanations can support downstream models for answer prediction, improving the accuracy of BERT for multiple choices QA on both ARC easy (+6.92%) and challenge (+15.69%) questions.

研究の動機と目的

• 説明的知識ベースを用いて、科学的質問の説明を再構築するスケーラブルな手法の開発。
• 複数選択形式の科学的QAにおける事実の関連性と説明的パワーを統合する課題の解決。
• 神経ネットワークモデルに再構築された説明を統合することで、下流の回答予測の精度向上。
• IR重み付けスキームを用いて、大規模な説明中心のコーパス（Worldtree）上でフレームワークを評価。

提案手法

• フレームワークは、事実が質問および候補となる回答に対してどれほど具体的に関連しているかを測る関連性スコア（RS）を用いる。
• 類似した質問の説明における事実の頻度に基づいて、統合スコア（US）を計算し、その説明的パワーを捉える。
• 2つのスコアを組み合わせて説明的事実の順序付けを行い、スコアが高いほど説明的関連性が強いことを示す。
• 効率的な計算とスケーラビリティを実現するため、IR重み付けスキームを用いてモデルを実装する。
• MAPを主な指標として用いて、Worldtreeコーパス上でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 説明的コーパスを用いた統合ベースのアプローチは、科学的質問の説明を効果的に再構築できるか？
• RQ2 関連性スコアと統合スコアは、高品質な説明的事実を特定する上でどのように補完し合うか？
• RQ3 再構築された説明は、複数選択形式の科学的QAにおける回答予測をどの程度向上できるか？
• RQ4 精度とスケーラビリティの観点から、本フレームワークは最先端のTransformerモデルと比べてどうなるか？

主な発見

• 本フレームワークは、最先端のTransformerモデルと比較して競争力のある性能を達成するとともに、大規模な説明的知識ベースに対してもスケーラブルである。
• 組み合わせモデルはIRベースラインを+7.8/8.4 MAPで上回り、関連性スコアと統合スコアの補完的価値を確認した。
• 再構築された説明は、BERTのARCの簡単な質問における精度を6.92%、チャレンジ問題では15.69%向上させた。
• 統合スコアは、類似質問の説明における頻度パターンを通じて、説明的パワーを効果的に捉えている。