[論文レビュー] SatLM: Satisfiability-Aided Language Models Using Declarative Prompting

Xi Ye, Qiaochu Chen+2 more|arXiv (Cornell University)|May 16, 2023

Topic Modeling被引用数 4

ひとこと要約

SatLMは、記述的プロンプトを用いて大規模言語モデル（LLM）の推論を向上させる充足可能性支援型言語モデリング手法を提案する。命令的プログラムを生成するのではなく、LLMは自然言語の問題を論理的制約に変換し、市販のSATソルバーを用いて解釈することで、正しさを保証し、計画エラーを低減する。SatLMはGSM、LSAT、BoardgameQA、StructuredRegexの各ベンチマークで最先端性能を達成し、GSM-Sysではプログラム支援型LLMを23%上回り、複数のベンチマークで新たなSOTAを樹立した。

ABSTRACT

Prior work has combined chain-of-thought prompting in large language models (LLMs) with programmatic representations to perform effective and transparent reasoning. While such an approach works well for tasks that only require forward reasoning (e.g., straightforward arithmetic), it is less effective for constraint solving problems that require more sophisticated planning and search. In this paper, we propose a new satisfiability-aided language modeling (SatLM) approach for improving the reasoning capabilities of LLMs. We use an LLM to generate a declarative task specification rather than an imperative program and leverage an off-the-shelf automated theorem prover to derive the final answer. This approach has two key advantages. The declarative specification is closer to the problem description than the reasoning steps are, so the LLM can parse it out of the description more accurately. Furthermore, by offloading the actual reasoning task to an automated theorem prover, our approach can guarantee the correctness of the answer with respect to the parsed specification and avoid planning errors in the solving process. We evaluate SATLM on 8 different datasets and show that it consistently outperforms program-aided LMs in the imperative paradigm. In particular, SATLM outperforms program-aided LMs by 23% on a challenging subset of the GSM arithmetic reasoning dataset; SATLM also achieves a new SoTA on LSAT and BoardgameQA, surpassing previous models that are trained on the respective training sets.

研究の動機と目的

• 複雑な推論タスクにおいて、チェーン・オブ・スティューブやプログラム支援型プロンプトの限界を克服すること。
• 仕様と実行を分離することで、LLMベースの推論における実行エラーと計画エラーを低減すること。
• 自動定理証明者を活用して解を記述的問題定義と照合することで、推論の正確性を向上させること。
• 充足不能または曖昧な問題定義を検出することで、選択的予測の設定において予測を控えること。
• 算術的、論理的、記号的推論タスクを含む多様な推論ベンチマークで最先端性能を達成すること。

提案手法

• LLMは、命令的推論ステップの代わりに、自然言語の問題記述を論理的制約（記述的仕様）に変換するようプロンプトされる。
• 生成された論理式は、SATソルバー（SMTおよび一階論理定理証明者を含む）に供給され、解が決定される。
• SATソルバーは、解がすべての制約を満たしていることを検証することで正しさを保証し、実行エラーを排除する。
• LLMの役割（解析）とソルバーの役割（計画と実行）を分離することで、誤りを伴いやすいチェーン・オブ・スティューブ生成への依存を低減する。
• 自己一貫性デコードを用いたfew-shotプロンプトにより、ゼロショット一般化性と耐障害性を向上させる。
• 問題定義が充足不能または曖昧な場合、システムは回答を控えることができ、選択的予測設定における信頼性を向上させる。

Figure 1 : Illustration of our Satisfiability-aided Language Modeling approach (right). We first parse an NL input into a declarative task specification (a set of logical constraints) using prompting (Section 3.1 ), then use a SAT solver to solve the problem (Section 3.2 ). The chain-of-thought stra

実験結果

リサーチクエスチョン

• RQ1 SATソルバと組み合わせた記述的プロンプトは、命令的プログラム支援型プロンプトと比較してLLMの推論性能を向上させるか？
• RQ2 推論計画をSATソルバーにオフロードすることで、複雑な推論タスクにおける計画エラーと実行エラーが低減するか？
• RQ3 LLMとSATソルバーの組み合わせは、算術的および論理的推論を含む多様な推論ベンチマークで最先端性能を達成できるか？
• RQ4 不確実または曖昧な問題が拒否される選択的予測設定において、このアプローチはどのように性能を発揮するか？
• RQ5 LLMに記述的仕様を生成させることで、標準的なチェーン・オブ・スティューブプロンプトと比較して推論の質が向上するか？

主な発見

• SatLMは、GSMデータセットの挑戦的であるGSM-Sysサブセットにおいて、プログラム支援型LLMを23%上回り、算術的推論における顕著な向上を示した。
• SatLMは、few-shotプロンプトと自己一貫性デコードを用いて、GSMデータセットで84.8%の新たなSOTA性能を達成し、全訓練セットで微調整されたモデルと同等の性能を発揮した。
• SatLMは、LSAT（Zhong et al., 2022）においても新たなSOTAを樹立し、同じベンチマークで事前に訓練されたモデルを上回った。
• SatLMは、BoardgameQA（Kazemi et al., 2023）およびStructuredRegex（Ye et al., 2020）でもSOTA性能を達成し、推論タスクに広く適用可能であることを示した。
• このアプローチは、プログラム支援型LLMに一般的に見られる誤った式変形などの計画エラーを、SATソルバーによる論理的整合性の維持によって低減した。
• 充足不能または曖昧な問題定義を検出することで、SatLMは信頼性の高い選択的予測を可能にし、不確実な状況での正確性を向上させた。

Figure 2 : Exemplar specifications for arithmetic reasoning problems generated by different approaches. CoT makes errors when parsing an equation; ProgLM produces an incorrect reasoning chain (both errors are highlighted in red ). By only using the LLMs to generate declarative specifications and rel