[論文レビュー] Stable Algorithms Lower Bounds for Estimation

Xifan Yu, Ilias Zadik|arXiv (Cornell University)|Mar 23, 2026

Machine Learning and Algorithms被引用数 0

ひとこと要約

要約: 論文は MMSE の不連続性（不安定性）を推定タスクにおける安定アルゴリズムの失敗と結びつけ、 planted shortest path、random linear code、Gaussian subset sum の三つの標準設定において多項式時間法からの分離を証明します。

ABSTRACT

In this work, we show that for all statistical estimation problems, a natural MMSE instability (discontinuity) condition implies the failure of stable algorithms, serving as a version of OGP for estimation tasks. Using this criterion, we establish separations between stable and polynomial-time algorithms for the following MMSE-unstable tasks (i) Planted Shortest Path, where Dijkstra's algorithm succeeds, (ii) random Parity Codes, where Gaussian elimination succeeds, and (iii) Gaussian Subset Sum, where lattice-based methods succeed. For all three, we further show that all low-degree polynomials are stable, yielding separations against low-degree methods and a new method to bound the low-degree MMSE. In particular, our technique highlights that MMSE instability is a common feature for Shortest Path and the noiseless Parity Codes and Gaussian subset sum. Last, we highlight that our work places rigorous algorithmic footing on the long-standing physics belief that first-order phase transitions--which in this setting translates to MMSE-instability impose fundamental limits on classes of efficient algorithms.

研究の動機と目的

• ノイズ耐性を持つ安定アルゴリズムを平均ケース推定の中心的クラスとして動機づける。
• universal criterionとしての MMSE 不安定性を導入し、安定アルゴリズムの失敗を意味する。
• 三つの標準設定（PSP、RLC、GSS）において安定/低次数法と多項式時間アルゴリズムの具体的な分離を示す。
• MMSE の不連続性を一次相転移および根本的アルゴリズム的限界と結びつける。

提案手法

• ノイズ演算子 T_rho に基づく (rho, eta)-安定性を用いて安定アルゴリズムを定義する。
• ノイズ付き MMSE MMSE_rho を導入し、定理 2.1 を確立する：MMSE 不安定性は安定アルゴリズムの破綻を意味する。
• Planted Shortest Path、Random Linear Code、Gaussian Subset Sum の三つの推定タスクに対して不安定性の枠組みを適用する。
• これらの設定で低次数多項式が安定であることを示し、そのような手法に対する下界を得る。
• MMSE ジャンプを安定アルゴリズムの明示的なサブ最適性ギャップへ翻訳する系を導出する。
• AoN 遷移と二次モーメント法を用いて MMSE および安定性の結果を境界づける。

実験結果

リサーチクエスチョン

• RQ1 小さなノイズ下での MMSE 不連続性は安定推定アルゴリズムの失敗を意味するのか？
• RQ2 MMSE 不安定性現象は低次数多項式を含む広範なアルゴリズムに対する一様な下界を提供するのか？
• RQ3 PSP、RLC、GSS における安定/低次数法と多項式時間アルゴリズムの具体的な分離は何か？
• RQ4 MMSE の一次相転移と推定タスクの計算困難性とはどう関連するのか？

主な発見

• MMSE 不安定性は (rho, eta)-安定なアルゴリズムが信号エネルギーの一定の割合でサブ最適であることを意味する。
• PSP は MMSE_rho が少なくとも (1-o(1))L の不安定性を示し、rho = o(1/L) の安定アルゴリズムは失敗する。
• RLC は適切な rho の下で MMSE_rho が少なくとも (1/4 - o(1))n を示し、安定/低次数法の失敗を強制する。
• GSS は AoN ベースの MMSE 不安定性を示し、適切な rho の下で MMSE_rho ≥ (1-o(1))k、安定/低次数法と多項式時間法を分離する。
• 低次数多項式はこれらの問題で安定であり、安定/低次数法と多項式时间アルゴリズムの間の明確な分離を確立する。
• 本研究は MMSE 不連続性が多様なモデルを横断して安定推定法の普遍的な障壁として機能するという考えを一般化する。