[論文レビュー] Dissipative Learning: A Framework for Viable Adaptive Systems

Laurent Caraffa|arXiv (Cornell University)|Jan 25, 2026

Statistical Mechanics and Entropy被引用数 0

ひとこと要約

熱力学的・情報幾何学的フレームワーク（BEDS）を提案し、学習を散逸的信念ダイナミクスとしてモデル化、明示的仮定の下で唯一のFisher–Rao正則化を熱力学的に最適と導く。

ABSTRACT

We propose a perspective in which learning is an intrinsically dissipative process. Forgetting and regularization are not heuristic add-ons but structural requirements for adaptive systems. Drawing on information theory, thermodynamics, and information geometry, we introduce the BEDS (Bayesian Emergent Dissipative Structures) framework, modeling learning as the evolution of compressed belief states under dissipation constraints. A central contribution is the Conditional Optimality Theorem, showing that Fisher-Rao regularization measuring change via information divergence rather than Euclidean distance is the unique thermodynamically optimal regularization strategy, achieving minimal dissipation. Euclidean regularization is shown to be structurally suboptimal. The framework unifies existing methods (Ridge, SIGReg, EMA, SAC) as special cases of a single governing equation. Within this view, overfitting corresponds to over-crystallization, while catastrophic forgetting reflects insufficient dissipation control. The framework distinguishes BEDS-crystallizable problems, where beliefs converge to stable equilibria, from BEDS-maintainable problems, which require continual adaptation. It extends naturally to continual and multi-agent systems, where viability, stability under adaptation and finite resources replaces asymptotic optimality as the primary criterion. Overall, this work reframes learning as maintaining viable belief states under dissipation constraints, providing a principled lens on forgetting, regularization, and stability.

研究の動機と目的

• 忘却・安定性・資源制約を考慮した統一理論の必要性を動機づける。
• 学習をエントロピー排出信念ダイナミクスとしてモデル化する散逸フレームワーク視点（BEDS）を提案する。
• 正則化が熱力学的に最適となる条件を導く。
• Fisher–Rao正則化を最小散逸に結びつける条件付き最適性定理を導入する。
• 晶化可能なBEDS問題と維持可能なBEDS問題を区別し、継続的設定での実現性に対処する。

提案手法

• Prigogineの散逸構造基準に導かれる散逸プロセスとして学習を定式化する。
• 3つの明示的仮定を採用する（A1: Fisher–Rao測地距離、A2: 最大エントロピー信念ファミリー、A3:準静的・最小散逸軌道）。
• 信念状態をGaussian（mu, tau）およびvon Mises（phi, kappa）パラメータで表現する。
• 信念状態間の内在距離としてFisher–Rao幾何（双曲平面）を用いる。
• 条件付き最適性定理を証明する：A1–A3の下でFisher–Rao正則化が散逸を唯一最小化する。
• 既存手法（Ridge、SIGReg、EMA、SAC）がBEDSフレームワーク内の特別な場合として現れることを示す。

実験結果

リサーチクエスチョン

• RQ1 単一の原理が学習の効果的な正則化ヒューリスティックを生み出せるか。
• RQ2 正則化と忘却は熱力学的必然性であり、任意の選択ではないのか。
• RQ3 熱力学的制約から過適合、表現崩壊、忘却を予測できるか。
• RQ4 正確さ・データ・記憶・エネルギーの間の fundamental trade-offs は実現可能な適応システムでどのようになるか。
• RQ5 BEDSの概念は継続的学習・マルチエージェント学習へどう拡張されるか。

主な発見

• 明示的仮定の下、唯一の熱力学的に最適な正則化（Fisher–Rao）が導出される。
• Euclidean正則化はBEDS設定においてFisher–Raoと比較して構造的に最適でないことが示される。
• このフレームワークは既存手法（Ridge、SIGReg、EMA、SAC）を単一方程式の特別なケースとして統一する。
• BEDS-晶化可能性 vs BEDS-維持可能性の質的分類が、実現性と継続的適応性に関連して識別される。
• 現代的アーキテクチャ（Transformersのアテンション、拡散モデル、Gaussian splatting）は自然にBEDS座標を実装しており、学習パラダイム間の深い構造的関連を示唆する。