[논문 리뷰] The estimation error of general first order methods

Michael Celentano, Andrea Montanari외 1명|arXiv (Cornell University)|2020. 02. 28.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 15

한 줄 요약

이 논문은 랜덤 설계 하에서 고차원 회귀 및 저질서 행렬 추정 문제에서 일반 1차 방법(GFOMs)의 추정 오차에 대해 날카운 점근적 하한을 확립한다. 이 하한이 최적임을 보이며, 이를 충족하는 상한이 존재함을 보이고, 상태 진동 분석을 통해 희소 단층 회복 및 희소 주성분 분석과 같은 문제에서 정보-계산 갭을 규명한다.

ABSTRACT

Modern large-scale statistical models require to estimate thousands to millions of parameters. This is often accomplished by iterative algorithms such as gradient descent, projected gradient descent or their accelerated versions. What are the fundamental limits to these approaches? This question is well understood from an optimization viewpoint when the underlying objective is convex. Work in this area characterizes the gap to global optimality as a function of the number of iterations. However, these results have only indirect implications in terms of the gap to statistical optimality. Here we consider two families of high-dimensional estimation problems: high-dimensional regression and low-rank matrix estimation, and introduce a class of `general first order methods' that aim at efficiently estimating the underlying parameters. This class of algorithms is broad enough to include classical first order optimization (for convex and non-convex objectives), but also other types of algorithms. Under a random design assumption, we derive lower bounds on the estimation error that hold in the high-dimensional asymptotics in which both the number of observations and the number of parameters diverge. These lower bounds are optimal in the sense that there exist algorithms whose estimation error matches the lower bounds up to asymptotically negligible terms. We illustrate our general results through applications to sparse phase retrieval and sparse principal component analysis.

연구 동기 및 목표

• 고차원 추정 문제에서 1차 방법의 기본 통계적 한계를 이해하기 위해.
• 비볼록 설정에서 최적화 수렴 속도와 통계적 추정 정확도 사이의 격차를 메우기 위해.
• 랜덤 설계 가정 하에 유효한 점근적으로 최적의 날카운 하한을 추정 오차에 대해 유도하기 위해.
• 1차 방법이 통계적으로 최적의 추정기와 비교해 정보-계산 갭을 겪는 조건을 규명하기 위해.
• 일반 GFOM 프레임워크를 통해 볼록 및 비볼록 문제에 걸쳐 분석을 통합하기 위해.

제안 방법

• 기울기 하강, 투영 기울기 하강, 가속화된 변형을 포함하는 '일반 1차 방법'(GFOMs)의 클래스를 도입한다.
• 표본 수 $n$과 차원 $p$가 모두 발산하는 고차원 점근적 분석을 적용하며, $n/p \to \delta$이다.
• 알고리즘의 출력과 진짜 매개변수 벡터 간의 상관관계를 추적하기 위해 상태 진동 기법을 적용한다.
• 추정 오차의 진동을 지배하는 함수 $F_\varepsilon(q)$와 $H(q)$를 포함하는 재귀적 상태 진동 방정식을 유도한다.
• 진짜 매개변수와 추정된 매개변수 간 내적의 점근적 행동을 분석하기 위해 가우시안 과정 및 카오스 분해 도구를 활용한다.
• 분포의 클래스에 대한 악성 케이스 분석을 통해 추정 오차의 하한을 확립하고, 일치하는 상한을 통해 그 날카움을 증명한다.

실험 결과

연구 질문

• RQ1 고차원 회귀 및 저질서 행렬 추정 문제에서 임의의 일반 1차 방법이 달성할 수 있는 최소 추정 오차는 무엇인가?
• RQ2 이러한 하한은 비볼록 설정에서 알려진 1차 알고리즘의 성능와 어떻게 비교되는가?
• RQ3 1차 방법이 통계적으로 최적의 추정기와 비교해 상당한 정보-계산 갭을 보이는 영역는 언제인가?
• RQ4 고차원 점근적 영역에서 1차 방법의 기본 한계를 정확히 특성화할 수 있는가?
• RQ5 유도된 하한은 날카로운가, 그리고 기존 알고리즘의 성능과 무시할 수 없는 항 이외에는 일치하는가?

주요 결과

• 논문은 랜덤 설계 하에서 고차원 회귀 및 저질서 행렬 추정 문제에서 GFOM의 추정 오차에 대해 점근적으로 날카운 하한을 확립한다.
• 하한은 최적이며, 예를 들어 희소 단층 회복 및 희소 주성분 분석에서 이러한 하한에 대해 점근적으로 무시할 수 있는 항 이외에는 일치하는 추정 오차를 갖는 알고리즘이 존재함을 보였다.
• 희소 단층 회복 및 희소 주성분 분석의 경우, 분석은 신호 대 잡음 비율이 낮을 경우 1차 방법이 정보-계산 갭을 겪을 수 있음을 드러낸다.
• 상태 진동 분석에 따르면, 진짜 매개변수와 알고리즘 출력 간 상관관계는 $q_t$, $\tilde{\alpha}$, $\delta$를 포함하는 재귀 공식에 따라 감소한다.
• 추정 오차의 수렴 속도는 임계 임계점에 의해 결정되며, $\mu^4 \varepsilon^2 \delta < 1$이면 오차는 유계이면서 일정값으로 수렴한다.
• 결과는 전통적인 악성 케이스 최적화 하한이 통계적 추정 오차를 이해하는 데는 부족하며, 정보-계산 트레이드오프를 포괄하기 위해 평균 케이스 분석이 필수적임을 보여준다.