[論文レビュー] NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning

Nathaniel Weir, Clark, Peter+1 more|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用数 7

ひとこと要約

Nellieは、大規模言語モデル（LLM）を用いて規則生成およびリtrieval増強推論を行い、自然言語コーパスから論理的証明木を構築することで、エンドツーエンドで根拠があり説明可能で、論理的である質問応答を実現する神経記号的推論エンジンです。Nellieは、EntailmentBankで最先端のベースラインであるEntailer-3Bを22%、WorldTreeで26%上回りますが、人間が提供したテキストにおける論理的整合性と事実の根拠に基づいた推論を保証しています。

ABSTRACT

Our goal is a modern approach to answering questions via systematic reasoning where answers are supported by human interpretable proof trees grounded in an NL corpus of authoritative facts. Such a system would help alleviate the challenges of interpretability and hallucination with modern LMs, and the lack of grounding of current explanation methods (e.g., Chain-of-Thought). This paper proposes a new take on Prolog-based inference engines, where we replace handcrafted rules with a combination of neural language modeling, guided generation, and semiparametric dense retrieval. Our implementation, NELLIE, is the first system to demonstrate fully interpretable, end-to-end grounded QA as entailment tree proof search, going beyond earlier work explaining known-to-be-true facts from text. In experiments, NELLIE outperforms a similar-sized state-of-the-art reasoner [Tafjord et al., 2022] while producing knowledge-grounded explanations. We also find NELLIE can exploit both semi-structured and NL text corpora to guide reasoning. Together these suggest a new way to jointly reap the benefits of both modern neural methods and traditional symbolic reasoning.

研究の動機と目的

• 医療や法的分野など、高リスク分野において、現代のLLMベースの質問応答システムに見られる解釈不能性と根拠の欠如を是正すること。
• 手作業で作成された記号的規則に依存する古典的エキスパートシステムの脆さとスケーラビリティの問題を克服すること。
• 人間が理解可能な証明木に根拠を置き、人間が提供した権威ある自然言語コーパスに基づいた、エンドツーエンドで論理的かつ方向性を持つ推論を可能にすること。
• 手作業による規則設計を必要とせず、LLMの推論力と記号的推論の検証可能性を併用すること。
• 神経記号的システムが、完全に説明可能で事実に基づいた推論を維持しながらも、競争力のあるQAパフォーマンスを達成できることを実証すること。

提案手法

• Nellieは、バックワードチェイニングに基づくProlog型の記号的定理証明機をコア推論エンジンとして採用し、手作業で作成された規則の代わりにニューラル述語を用いる。
• システムは、収集された事実と事前に定義された推論テンプレートに条件付けられた大規模言語モデルを用いて、動的に推論規則の候補を生成する。
• リトリーブ増強生成（RAG）を採用することで、コーパスからの関連事実に条件付けられた規則生成を実現し、関連性と正確性を向上させる。
• 自然言語帰納（NLI）モデルを用いて、仮説と事実の間の弱い統合（weak unification）を実行し、自由形式の自然言語における含意チェックを可能にする。
• 証明探索プロセスは、クエリを部分クエリに再帰的に分解し、含意チェックまたはさらなる分解により各部分を証明することで、構成的含意木を形成する。
• 規則生成をガイドする2つの条件付き生成モジュール（テンプレート条件付き生成（TCG）およびリトリーブ条件付き生成（RCG））を用い、アブレーションスタディによりその重要性が示された。

実験結果

リサーチクエスチョン

• RQ1 神経記号的システムは、手作業による記号的規則に依存せずに、高いQAパフォーマンスと事実に基づいた根拠を両立させることができるか？
• RQ2 LLMは、記号的フレームワーク内で体系的かつ構成的推論を支援する動的な推論規則をどの程度効果的に生成できるか？
• RQ3 リトリーブ増強およびテンプレート条件付き生成は、根拠に基づく推論における証明木構築の質と正確性をどの程度向上させるか？
• RQ4 再トレーニングや規則の再定義なしに、知識コーパスを拡張するだけで、このようなシステムがドメインを越えて一般化できるか？
• RQ5 多ホップ推論において幻覚や意味的シフトが発生した場合、根拠に基づいた説明可能な推論の主な失敗モードは何か？

主な発見

• Nellieは、根拠に基づく証明を要件としているにもかかわらず、同じサイズのベースラインであるEntailer-3Bを、EntailmentBankで22%、WorldTreeで26%上回るパフォーマンスを達成した。
• Nellieは、根拠に基づく説明を必要としない11Bパラメータの巨大なEntailerモデルをも凌駕する競争力のあるパフォーマンスを発揮した。
• アブレーションスタディの結果、リトリーブ条件付き生成（RCG）とテンプレート条件付き生成（TCG）の両方を削除するとパフォーマンスが1〜1.5ポイント低下し、特にRCGの削除で3〜4ポイントの低下が生じ、両者の実証的必要性が裏付けられた。
• OpenBookQAからの一般的な知識を統合することで、NellieのQA精度は11〜12%向上し、正しく証明を構築する割合も9〜12%上昇した。これはドメイン一般化の有効性を示している。
• 主なエラー種別は、正しい答えに対して証明が見つからないことであり、次にハイパトニムの性質継承エラーと、推論ステップ間での意味的シフトが続く。
• エラー分析から、誤った証明は、推論ステップ間での意味的シフトに起因するNLIベースの含意チェックにおける誤検出（false positives）に起因することが明らかになった。これは今後の改善における主要な課題を示している。