[論文レビュー] Why Atomicity Matters to AI/ML Infrastructure: Snapshots, Firmware Updates, and the Cost of the Forward-In-Time-Only Category Mistake

Paul Borrill|arXiv (Cornell University)|Mar 3, 2026

Distributed systems and fault tolerance被引用数 0

ひとこと要約

論文は、原子性チェックポイントと原子ファームウェア展開が非同期クラッシュリカバリ設定では保証できないと主張し、チェックポイント/アップグレードイベントを時間的境界として扱うことはカテゴリーエラーであると提案し、代替として収束ベースのアプローチを提案する。

ABSTRACT

Large-scale AI/ML training systems depend on two assumptions that are rarely examined: (1) that checkpoints represent atomic snapshots of global training state, and (2) that infrastructure updates can be applied without inducing mixed-protocol cluster states. Both assumptions are instances of a deeper structural error: the Forward-In-Time-Only (FITO) category mistake, which confuses protocol convergence properties with temporal predicates. We formalize this confusion as a type error: the identification of a temporal snapshot $\mathsf{Snap}(t)$ with a convergence property $\mathsf{Conv}(\mathcal{P},e)$. We model checkpoint execution in a process-algebraic framework and prove that under asynchronous composition with crash-recovery failures, no temporal instant can serve as an atomicity boundary. We reformulate checkpoint inconsistency on an epoch lattice and show that atomicity is a measure-zero event whose complement grows exponentially with the number of independent persistence domains. We formalize mixed-epoch recovery as a type violation in the optimization algebra and show that the resulting update is not a valid step of any standard optimizer. For firmware fleet updates, we strengthen the known consensus-hardness result: atomic deployment requires not merely agreement but common knowledge of the epoch transition, which is strictly unattainable in asynchronous systems with unreliable communication. We conclude by sketching a bilateral convergence protocol, inspired by Open Atomic Ethernet, that achieves $\mathsf{Conv}(\mathcal{P},e)$ without requiring $\mathsf{Snap}(t)$ -- replacing the FITO assumption with constraint semantics.

研究の動機と目的

• AI/MLインフラストラクチャにおけるFITO（Forward-In-Time-Only）カテゴリエラーを正式化する。
• チェックポイント作成とファームウェア更新を非同期プロセスの組合としてモデル化し、トレース特性と時間述語を区別する。
• クラッシュリカバリ失敗における時間的境界の非存在を証明する。
• エポック格子上のチェックポイント整合性を再構成し、原子性を測度0のイベントとして定量化する。
• 時間的境界に代わる収束ベースのプロトコルをチェックポイントとアップグレードの代替として提案する。

提案手法

• チェックポイント作成を持続性プロセスの非同期的組合として形式的なプロセス代数モデル化。
• Snap(t,e)を時間的スナップショット述語として、Conv(P,e)をプロトコル収束性として定義し、両者が異なる型であることを証明する。
• 独立した失敗ドメインを持つ非同期クラッシュリカバリ失敗モデルを用いて、時間的境界の不可能性を導出する。
• エポック格子と測度論的議論を導入し、 persistenceドメインが拡大するにつれて原子性が測度0であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非同期クラッシュリカバリのもとで、全コンポーネントを跨いで原子コミットメントを保証する時間的境界tcは存在しうるか。
• RQ2 エポック遷移の共通知識なしに、非同期性のもとでファームウェアの原子デプロイメントは実現可能か。
• RQ3 混合エポックリカバリはAI/MLトレーニングの標準最適化更新にどう影響するか。
• RQ4 時間的スナップショットを置換して、整合したグローバル状態を保証する収束ベースの仕組みは何か。
• RQ5 不可能性の結果を前提として、実用的なプロトコルは原子性をどのように近似できるか。

主な発見

• チェックポイントの原子性は、多数の永続化ユニットを持つ大規模システムで測度0のイベントである。
• 独立したクラッシュリカバリ失敗の下では、いかなる非同期チェックポイントプロトコルも全コンポーネントが同じコミット済みエポックを反映する時間的境界を保証できない。
• 混合エポックリカバリは、オプティマイザのステップ（例：AdamW）をいずれの単一エポック軌道に対しても無効化する。
• 非同期システムではエポック遷移の共通知識を得られず、純粋なメッセージベースの協調による原子ファームウェア展開は不可能である。
• 対話的収束プロトコルはConv(P,e)を達成でき、時間ベースの境界からプロトコルベースの収束へとチェックポイントの再定義を可能にする。