[论文解读] Large Language Model for Science: A Study on P vs. NP

Qingxiu Dong, Li Dong+5 more|arXiv (Cornell University)|Sep 11, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了苏格拉底式推理（Socratic Reasoning）框架，该框架利用大型语言模型（LLMs）如GPT-4，通过递归提问、分解与自我反思，协同探索复杂的科学问题。在对P vs. NP问题的试点研究中，GPT-4自主地在97轮对话中构建出一个证明框架，最终得出结论‘P ≠ NP’——与先前研究一致，展示了LLMs在专家级理论研究中推演出新颖见解的潜力。

ABSTRACT

In this work, we use large language models (LLMs) to augment and accelerate research on the P versus NP problem, one of the most important open problems in theoretical computer science and mathematics. Specifically, we propose Socratic reasoning, a general framework that promotes in-depth thinking with LLMs for complex problem-solving. Socratic reasoning encourages LLMs to recursively discover, solve, and integrate problems while facilitating self-evaluation and refinement. Our pilot study on the P vs. NP problem shows that GPT-4 successfully produces a proof schema and engages in rigorous reasoning throughout 97 dialogue turns, concluding "P $ eq$ NP", which is in alignment with (Xu and Zhou, 2023). The investigation uncovers novel insights within the extensive solution space of LLMs, shedding light on LLM for Science.

研究动机与目标

• 探究大型语言模型（LLMs）是否能够超越知识插值，推演出新颖的科学见解。
• 解决理论计算机科学与数学中的长期难题——P vs. NP问题。
• 开发一种通用框架，将LLMs从工具型助手提升为科学研究中的协作伙伴。
• 证明LLMs能够导航复杂解空间，并生成严谨、自我验证的推理路径。
• 探索LLMs作为具备跨学科推理与证明构建能力的通才代理的潜力。

提出的方法

• 苏格拉底式推理是一种五模式框架：演绎、转化、分解、验证与整合，用于引导LLMs进行递归问题求解。
• 该方法通过角色扮演（如数学家、逻辑学家）模拟专家协作，增强推理深度。
• GPT-4在前14轮对话中生成初步证明框架，随后在83轮对话中进行严谨推理与自我反思。
• 该框架利用转化将P vs. NP问题重构为等价或抽象形式，以实现更深层次分析。
• 演绎模式被用于推导逻辑后果并识别矛盾，特别是在Model RB实例的语境下。
• 整合模式用于综合结论，经过大量自我评估与优化后，最终得出‘P ≠ NP’的断言。

实验结果

研究问题

• RQ1 LLMs如GPT-4能否为开放性、专家级科学问题生成新颖的、非记忆化的推理路径？
• RQ2 LLMs在无须人类提供模板的情况下，能在多大程度上自主完成复杂理论证明的分解、转化与验证？
• RQ3 苏格拉底式推理框架是否能使LLMs在长时间对话中实现自洽、逻辑连贯的推理？
• RQ4 LLMs能否超越训练数据的范围，推演出与专家共识一致的结论，例如在P vs. NP等未解问题上？
• RQ5 如何设计LLMs，使其在科学发现中扮演协作伙伴而非工具的角色？

主要发现

• GPT-4成功生成了一段连贯的97轮对话，最终得出‘P ≠ NP’的结论，与Xu和Zhou（2023）的先前理论工作一致。
• 该模型通过分解问题、将其转化为等价形式，并在多轮对话中持续应用演绎与验证，展现了递归推理能力。
• 通过苏格拉底式推理，GPT-4识别出某些NP完全实例（如Model RB）无法在O(2^n)时间以下求解，从而暗示P ≠ NP。
• 该证明框架通过迭代优化实现自我验证，利用矛盾检测来验证高效解法的不可能性。
• 本研究揭示，LLMs能够导航庞大的解空间，并在无直接监督的情况下生成逻辑一致、专家级的推理。
• LLMs中的数学推理不仅限于符号操作，还包含类同母语数学视角的直觉性、语言融合理解。