[論文レビュー] Structured Chemistry Reasoning with Large Language Models

Siru Ouyang, Zhuosheng Zhang+5 more|arXiv (Cornell University)|Nov 16, 2023

Semantic Web and Ontologies被引用数 7

ひとこと要約

本稿では、式の生成、段階的導出、信頼度に基づく精錬の3段階に分解することで、大規模言語モデル（LLM）の複雑な化学推論能力を向上させる構造化プロンプトフレームワーク、StructChemを紹介する。このフレームワークにより、GPT-4の性能が複雑な化学ベンチマークで最大30%向上し、根拠に基づいた反復的推論により、推論および計算ミスが顕著に低減される。

ABSTRACT

Large Language Models (LLMs) excel in diverse areas, yet struggle with complex scientific reasoning, especially in the field of chemistry. Different from the simple chemistry tasks (e.g., molecule classification) addressed in previous studies, complex chemistry problems require not only vast knowledge and precise calculation, but also compositional reasoning about rich dynamic interactions of different concepts (e.g., temperature changes). Our study shows that even advanced LLMs, like GPT-4, can fail easily in different ways. Interestingly, the errors often stem not from a lack of domain knowledge within the LLMs, but rather from the absence of an effective reasoning structure that guides the LLMs to elicit the right knowledge, incorporate the knowledge in step-by-step reasoning, and iteratively refine results for further improved quality. On this basis, we introduce StructChem, a simple yet effective prompting strategy that offers the desired guidance and substantially boosts the LLMs' chemical reasoning capability. Testing across four chemistry areas -- quantum chemistry, mechanics, physical chemistry, and kinetics -- StructChem substantially enhances GPT-4's performance, with up to 30\% peak improvement. Our analysis also underscores the unique difficulties of precise grounded reasoning in science with LLMs, highlighting a need for more research in this area. Code is available at \url{https://github.com/ozyyshr/StructChem}.

研究の動機と目的

• GPT-4のような先進的なLLMが関連分野の知識を備えながらも、複雑な化学推論タスクで継続的に失敗するという問題に取り組む。
• 根本的な問題は知識不足ではなく、知識の抽出と段階的導出を導くための効果的な推論構造の欠如にあると特定する。
• 科学的化学問題における正確性と頑健性を向上させるために、LLMの推論を3段階に体系的に構造化するプロンプト戦略を開発する。
• 構造化された推論が、複数の化学的概念の動的相互作用を含む問題において、推論ミスおよび計算ミスを顕著に低減することを実証する。
• GPT-4によるStructChemが生成する高品質な推論チェーンを用いて、より小さなLLMの有効なファインチューニングを可能にし、大規模モデルにとどまらないその有用性を拡張する。

提案手法

• 3段階の推論フレームワークを導入する：(1) 式の生成、(2) その式を用いた段階的推論、(3) 中間結果の信頼度に基づくレビューおよび精錬。
• LLMを用いてまず重要な化学的式を生成することで、後続の推論の根拠となる基盤を確立し、幻覚や不適切な内容の発生を防ぐ。
• 各修正における信頼度スコアの推定を用いて反復的精錬を実装し、高信頼度の最終的解答への段階的改善を可能にする。
• 純粋にプロンプトベースの検証に依存する自己検証手法とは異なり、信頼度推定と反復的修正を組み込むことで、検証の依存度を低減する。
• SciBenchなどのベンチマークデータセットを用いて、量子化学、力学、物理化学、動力学の4つの多様な化学分野にこの手法を適用する。
• GPT-4がStructChemを用いて生成した推論チェーンを用いて、より小さなLLM（例：Llama-2-13B、Vicuna-13B）をファインチューニングし、この手法の汎用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4のような先進的なLLMが関連分野の知識にアクセス可能であるにもかかわらず、なぜ複雑な化学推論タスクで失敗するのか？
• RQ2 構造化されたプロンプトは、複数の概念を含む動的化学問題を解く際のLLMの正確性と信頼性をどの程度向上させ得るか？
• RQ3 式の生成と信頼度に基づく精錬を組み込むことで、標準的なチェーン・オブ・スコーズ（CoT）プロンプトと比較して、推論品質はどのように向上するか？
• RQ4 StructChemが生成する推論チェーンは、より小さなLLMのファインチューニングに効果的に転送可能か？
• RQ5 LLMを用いた化学推論における主な誤りタイプは何か？また、StructChemはそれらをどのように低減するか？

主な発見

• StructChemは、4つの化学分野にわたり、GPT-4の推論ミスを最大30%まで低減した。特に、複雑で複数の概念を含む問題で顕著な改善が見られた。
• 物理化学分野において、GPT-4のパフォーマンスは最大30%の絶対的向上を達成し、標準的なチェーン・オブ・スコーズ（CoT）プロンプトを著しく上回った。
• チェーン・オブ・スコーズプロンプトが存在しない状況でも、計算ミスが全体の約25%を占めることが判明し、推論ステップの正確性の重要性が浮き彫りになった。
• 式の生成フェーズは非常に効果的である：一部の式は不適切な場合があるが、誤った式はまれであり、後続のパフォーマンスに影響を与える要因として、関連性の高さが正確性よりも重要である。
• StructChemの性能向上はコスト効率が良く、CoTやPoTベースラインと比較して、トークン消費量に比例して増加しない高精度を達成している。
• Vicuna-13Bなどのより小さなLLMを、StructChemが生成した推論チェーンを用いてファインチューニングすることで、顕著なパフォーマンス向上が得られ、この手法の転送可能性とスケーラビリティが実証された。