[論文レビュー] Modeling Next-Token Prediction as Left-Nested Intuitionistic Implication

Paul Tarau|arXiv (Cornell University)|Jan 7, 2026

Computability, Logic, AI Algorithms被引用数 0

ひとこと要約

論文は Arrow Language Model を提案する。これは次トークン予測を左にネストされた直観主義的含意として扱うニューラルアーキテクチャであり、非可換演算子の合成と Prolog ベースの定理証明器を用いてモデルの特性を検証する。

ABSTRACT

We introduce the \emph{Arrow Language Model}, a neural architecture derived from an intuitionistic-logic interpretation of next-token prediction. Instead of representing tokens as additive embeddings mixed by attention, we encode a prefix as a \emph{left-nested implication chain} whose structure preserves order through non-commutative composition. Next-token prediction corresponds to \emph{modus ponens}, and sequence processing becomes constructive proof extension under the Curry--Howard correspondence. Our Prolog-based specialized theorem provers validate fundamental properties of the neural models, among which relations between commutative vs. non-commutative sequencing and single-token vs. multi-token prediction choices. We show that a neural architecture equivalent to multiplicative RNNs arises naturally from a proof-theoretic interpretation of next-token prediction as nested intuitionistic implication, we present a practical low-rank neural realization and position the model relative to Transformers and state-space models. Keywords: logic-based derivation of neural architectures, intuitionistic implicational logic, token-as-operator neural models, state-space models, alternatives to transformer-based foundational models.

研究の動機と目的

• 次トークン予測を直観主義含言論理の構成的証明拡張として動機づけ、形式化する。
• 順序を混ぜ合わせる注意機構を避けるため、シーケンスを左ネストの含意チェーンとして表現する。
• トークンを証明状態を変換する演算子として処理するニューラルアーキテクチャを導出する。
• 可換性 vs 非可換性の列挙と単一トークン予測 vs 複数トークン予測との関係を示す。
• モデルを Transformers や状態空間モデルと位置づけ、オープンソースコードを提供する

提案手法

• 含意命題論理と LJT 計算を用いて intuitionistic 論理の象徴的定理証明器（iprove, lprove）を構築する。
• シーケンスを左ネストの含意連鎖としてエンコードし、順序感受性（非可換性）を証明する。
• 次トークン予測が左ネスト枠組み内でのモードス・ ponens に対応することを示す。
• カリー–ハワード解釈を提供し、トークンをラムダ項演算子と状態遷移に結びつける。
• Arrow アーキテクチャの実用的な低ランクニューラル実装を導出し、概念的に transformers や状態空間モデルと比較する。
• 検証のためのオープンソースコードと Prolog 表現を提供する

実験結果

リサーチクエスチョン

• RQ1 次トークン予測は直観主義含意論理の構成的証明拡張として理解できるか。
• RQ2 左ネスト含意は順序を適切に保持し、逐次生成をサポートするか。
• RQ3 この論理から導出されたニューラルアーキテクチャ（Arrow Language Model）は、multiplicative RNNs、transformers、状態空間モデルなど既存モデルと再現・関連づけられるか。
• RQ4 単一トークンおよび複数トークン予測を、純粋な含意証明器フレームワーク内で証明・検証できるか。

主な発見

• 左ネストの含意表現は厳密な逐次依存性の深さを課し、段階的な証明拡張と一致する。
• 次トークン予測は直感主義含意論理におけるモードス・ポネンスによる構成的証明完了として解釈可能。
• 次トークン予測の証明理論的解釈から multiplicative RNN に相当するニューラルアーキテクチャが自然に生じる。
• この枠組みは Prolog ベースの定理証明器（iprove, lprove）を用いてシーケンス処理の論理的性質を検証する方法を提供する。
• このアプローチはトランスフォーマーベースのアーキテクチャとは異なる、論理駆動型の新規な代替案を示唆し、状態空間モデルの検討と位置づける。
• オープンソース実装資源が提供されている（GitHub リンク）