[論文レビュー] LAMBADA: Backward Chaining for Automated Reasoning in Natural Language

Seyed Mehran Kazemi, Najoung Kim+3 more|arXiv (Cornell University)|Dec 20, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

LAMBADA は、大規模言語モデル（LM）を用いた自然言語における自動推論のためのバックワードチェイニングアプローチを導入し、推論を 4 つのモジュラーで、少しだけプロンプトされた LM のコンponent に分解する：目的分解、ルール選択、事実確認、符号整合性。複雑な論理的推論タスクにおいて、特に深い推論チェーンにおいて、前向きチェイニング手法に比べ顕著な正確性の向上を達成する一方で、クエリ効率が高く、誤った証明トレースの発生確率も低くなる。

ABSTRACT

Remarkable progress has been made on automated reasoning with natural text, by using Language Models (LMs) and methods such as Chain-of-Thought and Selection-Inference. These techniques search for proofs in the forward direction from axioms to the conclusion, which suffers from a combinatorial explosion of the search space, and thus high failure rates for problems requiring longer chains of reasoning. The classical automated reasoning literature has shown that reasoning in the backward direction (i.e. from the intended conclusion to supporting axioms) is significantly more efficient at proof-finding. Importing this intuition into the LM setting, we develop a Backward Chaining algorithm, called LAMBADA, that decomposes reasoning into four sub-modules. These sub-modules are simply implemented by few-shot prompted LM inference. We show that LAMBADA achieves sizable accuracy boosts over state-of-the-art forward reasoning methods on challenging logical reasoning datasets, particularly when deep and accurate proof chains are required.

研究の動機と目的

• 前向きチェイニング推論における制限、特に長い推論チェインにおいて発生する組み合わせ的爆発と高い失敗率を解消すること。
• 古典的自動推論で一般的なバックワードチェイニングが、LM に効果的に適応可能かどうかを検討すること。
• バックワードチェイニングを用いた証明計画を実行するモジュラーで、少しだけプロンプトされた LM システムを構築すること。
• 自然主義的テキストを含む演繹的推論タスクにおける正確性と信頼性を向上させること、特に深い推論チェインを要する問題に対して。
• ファインチューニング済みまたは暗黙的推論を行う LM よりも、誤った相関関係への依存を減らし、より強固な性能を実現すること。

提案手法

• 推論を 4 つのサブモジュールに分解：目的分解、ルール選択、事実確認、符号整合性。各モジュールは、少しだけプロンプトされた LM 推論によって実装される。
• 前向きチェイニングの組み合わせ的探索を避けるために、目的から始まり、再帰的に部分目的に分解するバックワードチェイニングを採用する。
• 2段階のプロセスを採用：まず、含意パターンに基づいて関連するルールを選択し、次に、選択された事実が目的を支持するか、矛盾するかを検証する。
• 目的の論理的符号とルールの含意との整合性を確認する符号整合性モジュールを適用し、信頼性を向上させる。
• 反復的な事実選択と検証（アルゴリズム 3）を適用し、事実が目的を支持するか、矛盾するか、または関係がないかをテストする。
• ファインチューニングを一切行わず、少しだけプロンプトによって各モジュールを誘導することで、さまざまな推論タスクにゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 バックワードチェイニングを用いた LM が、前向きチェイニング手法と比較して、複雑な論理的推論タスクにおいて顕著な性能向上を達成できるか？
• RQ2 モジュラーでバックワードチェイニングを採用することで、標準的なチェーン・オブ・スティェートメント・プロンプティングと比較して、長い推論チェインにおける失敗率が低下するか？
• RQ3 少しだけプロンプトされた LM が、ルール選択、事実検証、目的分解といったバックワードチェイニングコンponents を信頼性を持って実装できるか？
• RQ4 LAMBADA は、ファインチューニング済み LM がしばしば直面する誤った相関関係をどれだけ回避できるか？
• RQ5 クエリ効率と推論チェインの妥当性において、他のモジュラー LM に基づく推論フレームワークと比較して、LAMBADA はどのように異なるか？

主な発見

• LAMBADA は、ProofWriter の ParaRules サブセットにおいて、最先端の前向き推論手法に比べて顕著な正確性の向上を達成しており、特に深い推論チェインを要する問題で顕著である。
• 前向き手法とは異なり、LAMBADA は正しい結論に至るが、誤った証明トレースを生成する可能性が著しく低い、妥当な推論チェインを生成する傾向がある。
• 目的指向のバックワードチェイニング構造のおかげで、他のモジュラー推論アプローチと比較して、LAMBADA ははるかに高いクエリ効率を示す。
• 論理的構造と整合性チェックに焦点を当てることで、ファインチューニング済み LM にありがちな誤った相関関係への依存を低減する。
• 特に 5 ホップまでの推論深度を持つタスクにおいて、自然言語推論における LM におけるバックワードチェイニングは、前向きチェイニングよりも効果的である。
• 符号整合性モジュールと反復的事実確認モジュールが、証明検証における信頼性の向上と誤検出の低減に寄与している。