[論文レビュー] Explainable Natural Language Reasoning via Conceptual Unification.

Marco Valentino, Mokanarangan Thayaparan+1 more|arXiv (Cornell University)|Sep 30, 2020

Topic Modeling参考文献 32被引用数 5

ひとこと要約

本稿では、概念的統合を用いた説明可能でマルチホップな自然言語推論のための新しい帰納的推論フレームワークを提案する。類似性推論を用いて説明的事実の順位を付け、帰納的推論を用いて抽象化された概念を統合することで、回答予測の学習を一切行わず、WorldtreeおよびARC Challengeで最先端の性能を達成し、Transformerベースの説明抽出の性能を顕著に向上させる。

ABSTRACT

This paper presents an abductive framework for multi-hop and interpretable textual inference. The reasoning process is guided by the notions unification power and plausibility of an explanation, computed through the interaction of two major architectural components: (a) An analogical reasoning model that ranks explanatory facts by leveraging unification patterns in a corpus of explanations; (b) An abductive reasoning model that performs a search for the best explanation, which is realised via conceptual abstraction and subsequent unification. We demonstrate that the Step-wise Conceptual Unification can be effective for unsupervised question answering, and as an explanation extractor in combination with state-of-the-art Transformers. An empirical evaluation on the Worldtree corpus and the ARC Challenge resulted in the following conclusions: (1) The question answering model outperforms competitive neural and multi-hop baselines without requiring any explicit training on answer prediction; (2) When used as an explanation extractor, the proposed model significantly improves the performance of Transformers, leading to state-of-the-art results on the Worldtree corpus; (3) Analogical and abductive reasoning are highly complementary for achieving sound explanatory inference, a feature that demonstrates the impact of the unification patterns on performance and interpretability.

研究の動機と目的

• 自然言語推論のための解釈可能でマルチホップな推論フレームワークを構築すること。このフレームワークは帰納的および類似性推論を支援する。
• 説明における統合パターンを活用することで、質問応答におけるニューラルモデルの解釈可能性と性能を向上させること。
• 明示的な回答予測の学習なしに、自己教師ありの質問応答および説明抽出を可能にすること。
• 類似性推論と帰納的推論の補完的役割が、整合的で解釈可能な推論を達成する上で果たす影響を調査すること。

提案手法

• フレームワークは、説明コーパスから学習した統合パターンに基づいて、説明的事実の順位を付ける類似性推論モデルを採用する。
• 帰納的推論モデルは、事実の概念的抽象化を実行し、抽象化された概念の統合を通じて最良の説明を探索する。
• 類似性および帰納的コンポーネント間の相互作用により、統合の強さと説明の妥当性が計算される。
• 自己教師ありの推論を用いて説明を生成し、最先端のTransformerと統合して説明抽出器として機能させる。
• 概念的抽象化により、意味的統合に注目することで、多様な推論経路に一般化できる。
• モデルは回答予測の微調整を一切行わず、統合に基づく推論とコーパスパターンに依存する。

実験結果

リサーチクエスチョン

• RQ1 説明コーパス内の概念的統合パターンは、回答予測の学習なしにマルチホップ推論を改善できるか？
• RQ2 類似性推論と帰納的推論の組み合わせは、テクスト推論における高い性能と解釈可能性を達成するのにどの程度有効か？
• RQ3 統合を用いた自己教師あり推論は、事前学習済みTransformerの説明抽出をどの程度向上させられるか？
• RQ4 統合の強さと妥当性は、生成された説明の質と信頼性にどのような影響を及えるか？

主な発見

• 回答予測の学習を一切行わず、WorldtreeおよびARC Challengeデータセットで競合するニューラルモデルおよびマルチホップベースラインを上回る質問応答モデルを実現した。
• 説明抽出器として使用した場合、最先端のTransformerの性能を顕著に向上させ、Worldtreeコーパスで最先端の結果を達成した。
• 類似性推論と帰納的推論の統合は、強い補完的関係を示し、推論の質と解釈可能性の両方を向上させた。
• 説明間の統合パターンは、効果的で妥当な推論を導く上で極めて重要な役割を果たし、モデルの性能に直接的な影響を与えた。
• タスク固有の微調整ではなく、コーパスレベルの統合パターンを活用することで、強力な自己教師あり推論性能を達成した。
• 帰納的推論コンポーネントは、概念的抽象化と統合を通じて最良の説明を効果的に特定し、一般化と解釈可能性を向上させた。