[論文レビュー] Evaluating Step-by-Step Reasoning through Symbolic Verification

Hanlin Zhang, Yifan Zhang+2 more|arXiv (Cornell University)|Dec 16, 2022

Intelligent Tutoring Systems and Adaptive Learning被引用数 4

ひとこと要約

本稿では、関係的推論の少数-shot・文脈内学習を可能にする神経記号的フレームワーク「言語モデルを論理プログラマーとする(LMLP)」を提案する。LMLPは、記号的1階論理規則と知識ベースを用いて、より小さなモデルでも長さ一般化ベンチマークでチェーン・オブ・トゥーク（CoT）プロンプティングを25%以上上回る性能を発揮し、記号的表現が構成的一般化と推論の信頼性を向上させることを示している。

ABSTRACT

Pre-trained language models (LMs) have shown remarkable reasoning performance using explanations or chain-of-thoughts (CoT)) for in-context learning. On the other hand, these reasoning tasks are usually presumed to be more approachable for symbolic programming. To understand the mechanism of reasoning of LMs, we curate synthetic datasets containing equivalent (natural, symbolic) data pairs, where symbolic examples contain first-order logic rules and predicates from non-parametric knowledge bases (KBs), supporting automated verification of intermediate reasoning results. Then we revisit neuro-symbolic approaches and propose to learn from demonstrations containing logic rules and corresponding examples to iteratively reason over KBs, recovering Prolog's backward chaining algorithm and supporting automated verification of LMs' outputs. Comprehensive experiments are included to systematically compare LMLP with CoT in deductive reasoning settings, showing that LMLP enjoys more than $25\%$ higher accuracy than CoT on length generalization benchmarks even with smaller model sizes.

研究の動機と目的

• 記号的表現が関係的推論タスクにおける文脈内学習を改善するかどうかを調査すること。
• モデルが新しい情報の組み合わせに対して失敗する、少数ショット推論における構成的課題を解決すること。
• 自然言語の説明（CoT）と記号的論理規則の両者を、少数ショットプロンプティングにおいて比較すること。
• 言語モデルが記号的デモンストレーションを用いて、知識ベースにおける推論を効果的に定着させられるかどうかを評価すること。
• 記号的プロンプティングが自然言語プロンプティングに比べ、より信頼性が高くスケーラブルな推論を可能にするかどうかを調査すること。

提案手法

• 制御された比較を可能にするために、自然言語と記号的（1階論理）例のペアを含む合成データセットを用いる。
• LMLPは論理規則テンプレートと知識ベース（KB）述語を用い、推論をガイドし、各生成ステップが有効なKB関係に限定されるようにする。
• 各推論ステップで、マスク付き翻訳モデルが自然言語生成物をKB内の（主語, 述語, 宮語）三項組に変換し、意味的根拠を保証する。
• モデルは、取得した論理規則とデモンストレーションを文脈内例として用い、KB上で後退帰納を繰り返し適用する。
• GPT-2とSentence-BERTをバックボーンとして用い、通常のCoTモデルよりも小さいモデルを用いて、低リソースな記号的プロンプティング下での性能をテストする。
• 推論経路は手動で評価され、正しく導出されたターゲット関係が有効なKBステップを経由して得られた場合に成功と定義される。

実験結果

リサーチクエスチョン

• RQ1 1階論理規則を用いた記号的プロンプティングは、自然言語説明に比べ、少数ショット推論における構成的一般化を向上させるか？
• RQ2 大規模なKBでの事前学習が行われていない状態でも、言語モデルが記号的デモンストレーションを用いて知識ベース上で効果的に推論を学習できるか？
• RQ3 長さ一般化ベンチマークにおいて、記号的プロンプティング（LMLP）の性能はチェーン・オブ・トゥーク（CoT）と比べてどの程度優れているか？
• RQ4 訓練時に見られなかったより長い推論シーケンスでテストした場合、記号的表現が性能の急激な低下（catastrophic degradation）をどの程度軽減できるか？
• RQ5 記号的プロンプティングは自然言語プロンプティングに比べ、より信頼性が高く説明可能な推論経路を可能にするか？

主な発見

• LMLPは、GPT-2のようなより小さなモデルを用いても、長さ一般化ベンチマークでCoTを25%以上上回る正確性を達成する。
• LMLPは優れた構成的一般化を示し、訓練時のシーケンスをはるかに超える長さの推論でも高い性能を維持する。
• CoTプロンプティングは、長いシーケンスにおいて深刻な性能低下を示し、短いシーケンスでは優れた性能を示すものの、構成的一般化に失敗する。
• 記号的デモンストレーションの使用により、各ステップがKB述語に根拠を持つため、より信頼性が高く説明可能な推論経路が可能になる。
• LMLPは、より小さなモデルとKBで事前学習されていないバックボーンを用いても有効であるため、記号的プロンプティングがモデル規模の制限を補うことが示された。
• 結果から、記号的表現が論理と制御を明確に分離することで、自然言語ベースのCoTに比べ、より安定的かつスケーラブルな推論が可能になることが明らかになった。