[論文レビュー] Epistemic Compression: The Case for Deliberate Ignorance in High-Stakes AI

Steffen Lukas|arXiv (Cornell University)|Mar 26, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

論文は高リスクAIにおける単純性優先を主張し、Epistemic CompressionとRegime Indexを導入して、 shifting（非定常・データ不足）と安定域（データ豊富・不変）を識別し、15分野にわたる実証を示す。

ABSTRACT

Foundation models excel in stable environments, yet often fail where reliability matters most: medicine, finance, and policy. This Fidelity Paradox is not just a data problem; it is structural. In domains where rules change over time, extra model capacity amplifies noise rather than capturing signal. We introduce Epistemic Compression: the principle that robustness emerges from matching model complexity to the shelf life of the data, not from scaling parameters. Unlike classical regularization, which penalizes weights post hoc, Epistemic Compression enforces parsimony through architecture: the model structure itself is designed to reduce overfitting by making it architecturally costly to represent variance that exceeds the evidence in the data. We operationalize this with a Regime Index that separates Shifting Regime (unstable, data-poor; simplicity wins) from Stable Regime (invariant, data-rich; complexity viable). In an exploratory synthesis of 15 high-stakes domains, this index was concordant with the empirically superior modeling strategy in 86.7% of cases (13/15). High-stakes AI demands a shift from scaling for its own sake to principled parsimony.

研究の動機と目的

• Fidelity Paradoxを動機づける：高容量モデルは変化する環境でノイズを記憶してしまう。
• Epistemic Compressionを建築主導の単純性として導入し、頑健性を高める。
• Regime Indexを定義・運用化してデータ安定性に基づきドメインを分類し、モデル選択を導く。
• distribution shiftの下で単純なモデルが複雑なモデルより優れる15の高リスク領域で実証的証拠を提供。
• 展開に伴う実務的ワークフローと安全機構（Compression Superiority TestとEpistemic Firewall）を概説。

提案手法

• 有効次元性Deffを定義し、学習可能な複雑さを規制するためにパラメータ数と区別する。
• 二つの頑健性機構を提案：Type A（構造的分離）とType B（防御的圧縮）を建築的制約を通じて。
• Regime Index（RI）を5つの指標で導入し、 shifting vs stable regimesを診断する。 Viability Gap Vでデータの適合度と複雑性のバランスを定量化。
• LendingClubの金融シフト、MIMIC-IV臨床シフト、15ドメインのメタ統合の3つの実証実験を実施し、RIとシフト下のモデル性能を評価。
• 時間とデータ半減寿命（τ1/2）を特徴づけるホライズンとデータ安定性の formal frameworkを提示。
• 分布シフト下での単純対複雑モデルを比較しモデル選択をガイドするCompression Superiority Test（CST）を推奨。

実験結果

リサーチクエスチョン

• RQ1 分布シフトの下で高容量モデルが頑健性を損なう分野はどこか？
• RQ2 建築的制約（ epistemic compression ）は非定常環境でのスケーリングより頑健な一般化を生み出せるか？
• RQ3 Regime Indexは高リスクAIタスクにおいて単純さを複雑さより優先すべき時をどのように診断するか？
• RQ4 金融、医療などの分野を横断する実証的証拠は提案フレームワークをどう支持するか？
• RQ5 architecture-driven robustness に伴う実務的展開の安全策（例：Epistemic Firewall）は何か？

主な発見

Regime	Examples	Mean RI	Winning Strategy	Concordance (% and count)
Shifting Regime	Medicine, Finance, Policy	3.0	Compression (Simple Models)	80% (8/10)
Stable Regime	Physics, Games, Vision	0.2	Complexity (Deep Learning)	100% (5/5)

• shifting regime では、分布シフト下で単純なモデルが高容量モデルより優れることが多い（例：LendingClubではFT-Transformerがロジスティック回帰より性能低下）。
• 臨床の非定常設定では、専門家特徴を用いた単純なロジスティック回帰が高容量MLPより劣化が小さい。
• 15領域において Regime Index は経験的に優れたモデリング戦略と一致したケースが13/15件（86.7%）で観測。
• 安定な regimen では、固定構造を内挿する大規模モデルが優れる場合がある（例：AlphaFold、AlphaZero、がん画像診断）。
• Regime Index は時間的安定性、文脈不変性、データ対複雑性比、真値の質、因果的 prior に drivenされ、データ対複雑性の閾値は従来のパワールールと整合。
• formal horizon-data constraint により非定常領域は有限のデータ半減寿命を持ち、スケーリングの実現可能性を制限。