[论文解读] Dissipative Learning: A Framework for Viable Adaptive Systems

Laurent Caraffa|arXiv (Cornell University)|Jan 25, 2026

Statistical Mechanics and Entropy被引用 0

一句话总结

提出一个热力学、信息几何框架（BEDS）将学习建模为耗散信念动力学，并在明确假设下推导出唯一的 Fisher–Rao 正则化作为热力学最优解。

ABSTRACT

We propose a perspective in which learning is an intrinsically dissipative process. Forgetting and regularization are not heuristic add-ons but structural requirements for adaptive systems. Drawing on information theory, thermodynamics, and information geometry, we introduce the BEDS (Bayesian Emergent Dissipative Structures) framework, modeling learning as the evolution of compressed belief states under dissipation constraints. A central contribution is the Conditional Optimality Theorem, showing that Fisher-Rao regularization measuring change via information divergence rather than Euclidean distance is the unique thermodynamically optimal regularization strategy, achieving minimal dissipation. Euclidean regularization is shown to be structurally suboptimal. The framework unifies existing methods (Ridge, SIGReg, EMA, SAC) as special cases of a single governing equation. Within this view, overfitting corresponds to over-crystallization, while catastrophic forgetting reflects insufficient dissipation control. The framework distinguishes BEDS-crystallizable problems, where beliefs converge to stable equilibria, from BEDS-maintainable problems, which require continual adaptation. It extends naturally to continual and multi-agent systems, where viability, stability under adaptation and finite resources replaces asymptotic optimality as the primary criterion. Overall, this work reframes learning as maintaining viable belief states under dissipation constraints, providing a principled lens on forgetting, regularization, and stability.

研究动机与目标

• 需要一个统一的学习理论来解释遗忘、稳定性和资源约束的需求。
• 提出一个耗散框架视角（BEDS），将学习建模为熵输出的信念动力学。
• 推导在何种条件下正则化具有热力学最优性。
• 引入条件最优定理，将 Fisher–Rao 正则化与最小耗散联系起来。
• 区分可结晶的与可维持的 BEDS 问题，以解决在持续场景中的可行性。

提出的方法

• 将学习表述为受 Prigogine 耗散结构准则引导的耗散过程。
• 采用三条明确假设（A1：Fisher–Rao 度量，A2：最大熵信念族，A3：准静态、最小耗散轨迹）。
• 用高斯分布（mu, tau）和 von Mises 分布（phi, kappa）参数来表示信念状态。
• 将 Fisher–Rao 几何（双曲平面）作为信念状态之间的内在距离。
• 证明条件最优定理：在 A1–A3 下 Fisher–Rao 正则化唯一地最小化耗散。
• 展示现有方法（Ridge、SIGReg、EMA、SAC）如何在 BEDS 框架内成为特例。

实验结果

研究问题

• RQ1 一个原理是否能够产生有效的学习正则化启发式？
• RQ2 正则化与遗忘是否是热力学必然而非可选？
• RQ3 是否能从热力学约束预测过拟合、表示崩溃与遗忘？
• RQ4 在可行的自适应系统中，精度、数据、记忆与能量之间的基本权衡是什么？
• RQ5 BEDS 的概念如何扩展到持续学习和多智能体学习情景？

主要发现

• 在明确假设下，推导出唯一的热力学最优正则化（Fisher–Rao）。
• 在 BEDS 框架下，欧几里得正则化在结构上不如 Fisher–Rao。
• 该框架将现有方法（Ridge、SIGReg、EMA、SAC）统一为单一方程的特例。
• 定性分类区分 BEDS-可结晶与 BEDS-可维持的问题，与可行性和持续适应相关。
• 现代架构（Transformers 注意力、扩散模型、高斯点描）自然而然实现 BEDS 坐标，揭示学习范式间的深层结构联系。