[논문 리뷰] Stable Algorithms Lower Bounds for Estimation

Xifan Yu, Ilias Zadik|arXiv (Cornell University)|2026. 03. 23.

Machine Learning and Algorithms인용 수 0

한 줄 요약

이 논문은 MMSE 불연속성(불안정성)을 추정 작업에서 안정적인 알고리즘의 실패와 연결짓고, planted shortest path, random linear code, Gaussian subset sum에서 다항시간 방법과의 분리를 증명한다.

ABSTRACT

In this work, we show that for all statistical estimation problems, a natural MMSE instability (discontinuity) condition implies the failure of stable algorithms, serving as a version of OGP for estimation tasks. Using this criterion, we establish separations between stable and polynomial-time algorithms for the following MMSE-unstable tasks (i) Planted Shortest Path, where Dijkstra's algorithm succeeds, (ii) random Parity Codes, where Gaussian elimination succeeds, and (iii) Gaussian Subset Sum, where lattice-based methods succeed. For all three, we further show that all low-degree polynomials are stable, yielding separations against low-degree methods and a new method to bound the low-degree MMSE. In particular, our technique highlights that MMSE instability is a common feature for Shortest Path and the noiseless Parity Codes and Gaussian subset sum. Last, we highlight that our work places rigorous algorithmic footing on the long-standing physics belief that first-order phase transitions--which in this setting translates to MMSE-instability impose fundamental limits on classes of efficient algorithms.

연구 동기 및 목표

• 평균-케이스 추정에서 안정적인(노이즈-안정) 알고리즘을 중심 클래스로 고무한다.
• MMSE 불안정성을 안정 알고리즘의 실패를 시사하는 보편적 기준으로 도입한다.
• 세 가지 정형 설정(PSP, RLC, GSS)에서 안정/저차 다항식 방법과 다항시간 알고리즘 간의 구체적인 구분을 보여준다.
• MMSE 불연속성과 1차 상전이 및 근본적 알고리즘 한계 간의 연계를 다룬다.

제안 방법

• 잡음 연산자 T_rho를 기반으로 (rho, eta)-안정성으로 안정 알고리즘을 정의한다.
• 잡음이 있는 MMSE MMSE_rho를 도입하고 정리 2.1을 확립한다: MMSE 불안정성은 안정 알고리즘의 실패를 함의한다.
• 이 불안정성 프레임워크를 세 가지 추정 과제에 적용한다: Planted Shortest Path, Random Linear Code, 및 Gaussian Subset Sum.
• 이 설정들에서 저차 다항식들이 안정적임을 보이고, 이러한 방법에 대한 하한을 도출한다.
• MMSE 점프를 안정 알고리즘의 명시적 비최적성 간극으로 해석하는 보기를 도출한다.
• AoN 전이와 두 번째 모멘트 방법을 활용하여 MMSE와 안정성 결과를 상한한다.

실험 결과

연구 질문

• RQ1 작은 잡음하에서의 MMSE 불연속성이 안정 추정 알고리즘의 실패를 암시하는가?
• RQ2 MMSE 불안정성 현상이 저차 다항식을 포함한 광범위한 알고리즘 계층에 대해 균일한 하한을 제공하는가?
• RQ3 PSP, RLC, GSS에서 안정/저차 방법과 다항시간 알고리즘 간의 구체적인 구분은 무엇인가?
• RQ4 MMSE의 1차 상전이는 추정 과제의 계산 난이도와 어떻게 연결되는가?

주요 결과

• MMSE 불안정성은 어떤 (rho, eta)-안정 알고리즘이든 신호 에너지의 일정 비율만큼 비최적임을 의미한다.
• PSP는 MMSE_rho가 적어도 (1-o(1))L인 MMSE 불안정성을 나타내며, rho = o(1/L)인 안정 알고리즘은 실패함을 시사한다.
• RLC는 적절한 rho에서 MMSE_rho가 적어도 (1/4 - o(1))n임을 보이고, 안정/저차 방법의 실패를 강제한다.
• GSS는 적절한 rho하에 AoN 기반 MMSE 불안정성을 보이며 MMSE_rho ≥ (1-o(1))k를 달성하여 안정/저차를 다항시간 방법과 구분한다.
• 저차 다항식은 이들 문제에서 안정적으로 남아 있어 안정/저차 방법과 다항시간 알고리즘 간의 명확한 구분을 확립한다.
• 이 작업은 MMSE 불연속성이 다양한 모델에 걸쳐 안정 추정 방법에 대한 보편적 장애물로 작용한다는 아이디어를 일반화한다.