[论文解读] Modeling Next-Token Prediction as Left-Nested Intuitionistic Implication

Paul Tarau|arXiv (Cornell University)|Jan 7, 2026

Computability, Logic, AI Algorithms被引用 0

一句话总结

本文提出 Arrow Language Model，一种将下一个标记预测视为左嵌套的直观蕴含的神经结构，利用非交换运算符组合和基于 Prolog 的定理证明器来验证模型属性。

ABSTRACT

We introduce the \emph{Arrow Language Model}, a neural architecture derived from an intuitionistic-logic interpretation of next-token prediction. Instead of representing tokens as additive embeddings mixed by attention, we encode a prefix as a \emph{left-nested implication chain} whose structure preserves order through non-commutative composition. Next-token prediction corresponds to \emph{modus ponens}, and sequence processing becomes constructive proof extension under the Curry--Howard correspondence. Our Prolog-based specialized theorem provers validate fundamental properties of the neural models, among which relations between commutative vs. non-commutative sequencing and single-token vs. multi-token prediction choices. We show that a neural architecture equivalent to multiplicative RNNs arises naturally from a proof-theoretic interpretation of next-token prediction as nested intuitionistic implication, we present a practical low-rank neural realization and position the model relative to Transformers and state-space models. Keywords: logic-based derivation of neural architectures, intuitionistic implicational logic, token-as-operator neural models, state-space models, alternatives to transformer-based foundational models.

研究动机与目标

• 以建构性证明扩展的视角动机化并形式化下一个标记预测在直观蕴含逻辑中的应用。
• 将序列表示为左嵌套的蕴含链，以在不进行注意力混合的情况下保持顺序。
• 推导一个将标记视为将证明状态转化的算子、从而处理标记的神经结构。
• 展示交换性序列与非交换性序列、单标记与多标记预测之间的关系。
• 将模型定位于 Transformer 与状态空间模型之下，并提供开源代码

提出的方法

• 使用蕴含性命题逻辑和 LJT 演算构建直观逻辑的符号定理证明器（iprove、lprove）。
• 将序列编码为左嵌套的蕴含链，并证明顺序敏感性（非交换性）。
• 证明下一个标记预测在左嵌套框架内等价于 modus ponens。
• 提供 Curry–Howard 解释，将标记与 lambda 项算子及状态转移联系起来。
• 推导 Arrow 架构的实际低秩神经实现，并在概念上与 Transformer 与状态空间模型进行比较。
• 提供开源代码和 Prolog 表示以供验证

实验结果

研究问题

• RQ1 下一个标记预测是否可以理解为直观蕴含逻辑中的构造性证明扩展？
• RQ2 左嵌套蕴含是否能够充分保持序列表示中的顺序并支持增量生成？
• RQ3 从该逻辑推导出的神经架构（Arrow Language Model）是否能再现或关联到现有模型，如乘法性 RNN、Transformer 或状态空间模型？
• RQ4 在纯蕴含证明框架中，如何证明并测试单标记与多标记预测？

主要发现

• 左嵌套的蕴含表示强制执行严格的顺序依赖深度，与逐步证明扩展相一致。
• 下一个标记预测可解释为通过 intuitionistic 蕴含逻辑中的 modus ponens 完成的构造性证明扩展。
• 从下一个标记预测的证明理论解释中，自然获得等价于乘法性 RNN 的神经架构。
• 该框架提供了一种使用基于 Prolog 的定理证明器（iprove、lprove）来测试序列处理的逻辑属性的方法。
• 该方法为基于逻辑的序列处理提供了新颖的替代思路，相对于 Transformer 架构及定位于状态空间模型的考虑，将模型置于其中。
• 提供了开源实现资源（GitHub 链接）