[論文レビュー] Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering

Weiwen Xu, Huihui Zhang+2 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 68被引用数 5

ひとこと要約

本稿では、説明可能なマルチホップ科学QAを実現するため、抽象的意味表現（AMR）を用いた動的意味グラフフレームワークを提案する。質問、選択肢、抽出された事実からAMRベースの意味グラフ（AMR-SG）を構築し、パスベースの分析およびグラフ畳み込みネットワーク（GCN）を適用することで、事実抽出と推論を向上させ、ARC-Challenge（68.94%の正確度）で最先端の性能を達成するとともに、OpenBookQAでも高い結果（81.6%の正確度）を示した。外部の知識グラフに依存せず、高い説明可能性を維持している。

ABSTRACT

Knowledge retrieval and reasoning are two key stages in multi-hop question answering (QA) at web scale. Existing approaches suffer from low confidence when retrieving evidence facts to fill the knowledge gap and lack transparent reasoning process. In this paper, we propose a new framework to exploit more valid facts while obtaining explainability for multi-hop QA by dynamically constructing a semantic graph and reasoning over it. We employ Abstract Meaning Representation (AMR) as semantic graph representation. Our framework contains three new ideas: (a) { t AMR-SG}, an AMR-based Semantic Graph, constructed by candidate fact AMRs to uncover any hop relations among question, answer and multiple facts. (b) A novel path-based fact analytics approach exploiting { t AMR-SG} to extract active facts from a large fact pool to answer questions. (c) A fact-level relation modeling leveraging graph convolution network (GCN) to guide the reasoning process. Results on two scientific multi-hop QA datasets show that we can surpass recent approaches including those using additional knowledge graphs while maintaining high explainability on OpenBookQA and achieve a new state-of-the-art result on ARC-Challenge in a computationally practicable setting.

研究の動機と目的

• マルチホップQAにおける信頼性の低い証拠抽出と透明性の欠如した推論の課題に対処すること。
• テキスト知識からの構造的意味表現を活用して、マルチホップQAにおける説明可能性を向上させること。
• AMRを用いて、質問、回答、事実から意味グラフを動的に構築し、内在的な関係を明らかにすること。
• 推論チェーンを形成する主要な証拠を同定するパスベースの事実分析手法を開発すること。
• 事実レベルでの推論を向上させるために、グラフ畳み込みネットワーク（GCN）を統合することにより、予測の信頼性と正確度を向上させること。

提案手法

• 質問と回答選択肢から導出される仮説のAMRと、大規模コーパスからの関連事実のAMRを統合して、AMRベースの意味グラフ（AMR-SG）を構築する。
• 抽象的意味表現（AMR）を用いて、概念をノード、関係をエッジとする根付きで有向なグラフとして意味的意味を表現する。
• AMR-SG上でパスベースの分析を実施し、質問から回答への接続パスを特定し、これらのパス上に存在する事実のみをアクティブな証拠として選択する。
• グラフ畳み込みネットワーク（GCN）を用いて、AMR-SGに沿った事実レベルの情報伝播をモデル化し、アクティブな証拠に対する推論を向上させる。
• 事前に整備された知識グラフに依存せずに、任意のホップ数の関係を捉えることができる、質問に特化した動的グラフとしてAMR-SGを扱う。
• 微調整済みで自動的に解析されたAMRを用い、アブレーションスタディにより、一貫性のある自動解析が混合品質の手動アノテーションを上回ることを示した。

実験結果

リサーチクエスチョン

• RQ1 動的に構築されたAMRベースの意味グラフは、マルチホップQAにおける証拠抽出と推論を改善できるか？
• RQ2 AMR-SG上で実施するパスベースの分析は、推論チェーンに最も関連する証拠をどのように同定するのか？
• RQ3 GCNによる事実レベルの推論は、マルチホップQAにおける予測の信頼性と正確度をどの程度向上させるか？
• RQ4 テキストとグラフ構造の間の意味的ブリッジとしてAMRを用いることで、外部知識グラフを用いる手法よりも優れた性能を発揮しながら、説明可能性を維持できるか？
• RQ5 AMRの解析の一貫性は、QAシステムの性能にどの程度影響を与えるか？

主な発見

• 提案手法は、外部知識グラフを用いる先行手法を上回り、OpenBookQAで81.6%の正確度を達成した。
• ARC-Challengeデータセットでは、計算的に実行可能なかかる設定で、68.94%の正確度という、新たな最先端の結果を達成した。
• パスベースの事実分析手法は、完全な推論チェーンを形成する低スコアの証拠を効果的に抽出できた。ケーススタディでは、情報検索（IR）が失敗したが、本モデルは成功した。
• GCNによる事実レベルの推論は予測の信頼性を向上させ、K=2ホップで性能がピークに達した。これは、多くの質問が2つの証拠事実で解けることを示している。
• 驚くべきことに、完全に自動化されたAMR解析が、混合品質（手動＋自動）およびエラーのない適応済みAMR解析を上回った。これは、自動解析による一貫性のある概念選択が要因と考えられる。
• アブレーションスタディにより、AMRの一貫性が性能に顕著に影響することが確認され、既知の誤りが存在するにもかかわらず、完全に自動化されたAMRが最も高い正確度を示した。