[논문 리뷰] On the Gap Between Strict-Saddles and True Convexity: An Omega(log d) Lower Bound for Eigenvector Approximation

Max Simchowitz, A. El Alaoui외 1명|arXiv (Cornell University)|2017. 04. 14.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 7

한 줄 요약

이 논문은 오ракูล 모델에서 적응형·확률적 알고리즘을 사용하여 대칭 행렬의 최상위 고유벡터를 근사하는 데 필요한 질의 복잡도에 대해 Ω(log d)의 하한을 확립한다. 이 결과는 볼록 최적화와 엄격한 안정성(Strict-saddle) 최적화 사이의 근본적인 격차를 보여준다: 볼록 문제에 대한 1차 방법은 차원에 영향을 받지 않지만, 1차 고유값 PCA(표준 엄격한 안정성 문제)에 대한 기울기 기반 방법은 조건이 양호한 경우조차도 차원에 대해 로그적 의존성을 지닌다.

ABSTRACT

We prove a \emph{query complexity} lower bound on rank-one principal component analysis (PCA). We consider an oracle model where, given a symmetric matrix $M \in \mathbb{R}^{d imes d}$, an algorithm is allowed to make $T$ \emph{exact} queries of the form $w^{(i)} = Mv^{(i)}$ for $i \in \{1,\dots,T\}$, where $v^{(i)}$ is drawn from a distribution which depends arbitrarily on the past queries and measurements $\{v^{(j)},w^{(j)}\}_{1 \le j \le i-1}$. We show that for a small constant $ε$, any adaptive, randomized algorithm which can find a unit vector $\widehat{v}$ for which $\widehat{v}^{ op}M\widehat{v} \ge (1-ε)\|M\|$, with even small probability, must make $T = Ω(\log d)$ queries. In addition to settling a widely-held folk conjecture, this bound demonstrates a fundamental gap between convex optimization and "strict-saddle" non-convex optimization of which PCA is a canonical example: in the former, first-order methods can have dimension-free iteration complexity, whereas in PCA, the iteration complexity of gradient-based methods must necessarily grow with the dimension. Our argument proceeds via a reduction to estimating the rank-one spike in a deformed Wigner model. We establish lower bounds for this model by developing a "truncated" analogue of the $χ^2$ Bayes-risk lower bound of Chen et al.

연구 동기 및 목표

• 1차 방법을 사용한 엄격한 안정성 문제(예: 1차 고유값 PCA) 최적화의 본질적 어려움에 대한 널리 퍼진 추측을 해결하기 위해.
• 볼록 설정과 달리, 엄격한 안정성 문제에 대한 기울기 기반 알고리즘의 반복 복잡도가 임베딩 차원에 따라 증가해야 하는지 조사하기 위해.
• 알고리즘이 행렬-벡터 곱을 액세스하는 오라클 질의 모델에서 고유벡터 근사를 위한 차원 의존 하한을 확립하기 위해.
• 조건이 양호한 경우조차도, 적응형·확률적 알고리즘이 비중요한 성공 확률로도 로그 이하의 질의 복잡도를 달성할 수 없음을 보여주기 위해.
• 질의 복잡도와 알고리즘 효율성 측면에서 볼록 최적화와 비볼록(엄격한 안정성) 최적화 사이의 근본적 분리 현상을 정형화하기 위해.

제안 방법

• 고유벡터 근사 문제를 변형된 위그너 랜덤 행렬 모델에서의 1차 스파이크 추정 문제로 환원한다.
• Chen 등 [26]의 χ² 베이지스 리스크 하한 기법의 절삭된 변형을 개발하여 적응형 질의 설정에서의 정보 이론적 한계를 확립한다.
• 정보 획득의 양을 각 질의 단위로 통제하기 위해, 적응형 및 확률적 특성을 반영한 Fano의 부등식을 반복 적용한다.
• 임의의 단위 벡터와 고정된 방향 간 내적의 집합을 제약하기 위해 구면 등각성 이론을 사용하여 尾 확률 추정을 가능하게 한다.
• 행렬의 연산자 노름이 λ 이상인지 2+o(1) 이하인지 구분하기 위해 가설 검정으로의 환원을 적용하며, 이 경우 Ω(log d / log λ)의 질의가 필요하다.
• 숨겨진 스파이크 방향에 대한 사후 분포를 모델링하여, 적응형 측정 전략의 정보 이론적 한계를 분석한다.

실험 결과

연구 질문

• RQ1 1차 고유값 PCA와 같은 엄격한 안정성 문제에 대한 1차 방법이 볼록 최적화와 유사하게 차원에 영향을 받지 않는 반복 복잡도를 달성할 수 있는가?
• RQ2 임의의 적응형·확률적 알고리즘이 최상위 고유벡터를 최적 값의 상수 배 이내로 근사하기 위해 필요한 최소 행렬-벡터 질의 수는 얼마인가?
• RQ3 고유값 갭이 0에서 멀리 떨어져 있더라도, 엄격한 안정성 설정에서 고유벡터 근사에 대해 차원 d에 대한 로그 의존성이 필수적인가?
• RQ4 PCA에 대한 기울기 기반 방법의 질의 복잡도가 d에 독립적이거나, Ω(log d)가 본질적 하한인지 여부?
• RQ5 변형된 위그너 행렬에서 1차 스파이크 추정의 정보 이론적 복잡도는 차원 d에 따라 어떻게 변화하는가?

주요 결과

• 비중요한 확률로 $\widehat{v}^\top M\widehat{v} \geq \Omega(\|M\|)$ 를 만족하는 단위 벡터 $\widehat{v}$ 를 찾는 모든 적응형·확률적 알고리즘은 $T = \Omega(\log d)$ 개 이상의 질의를 수행해야 한다.
• 질의 수 $T$ 가 $\log d / \log(1/\gamma)$ 를 상수 배 이내로 제한될 경우, 성공 확률은 $e^{-d^{\Omega(1)}}$ 이하가 되며, 이는 성공 가능성의 지수적 감소를 의미한다.
• $\|M\| \geq \lambda$ 인지 여부를 테스트하기 위해 $\lambda \geq 2 + \Omega(1)$ 일 때, $\Omega(\log d / \log \lambda)$ 개의 적응형 질의가 필요하다.
• 이 하한은 악성 사례가 아니라 일반적인 대칭 행렬(변형된 위그너 모델에서 유도된)에 대해서도 성립하므로, $\log d$ 요소는 문제 자체의 본질적 특성임을 시사한다.
• 이 결과는 볼록 최적화와 엄격한 안정성 최적화 사이의 근본적 격차를 확립한다: 볼록 문제에서는 차원에 영향을 받지 않는 반복 복잡도가 가능하지만, PCA는 $\Omega(\log d)$ 개의 질의를 필요로 한다.
• 분석 결과, 파wr 메서드와 랭크로즈 알고리즘이 로그 인자 수준까지 정보 이론적으로 최적임을 확인하였으며, 이들의 질의 복잡도가 하한과 일치함을 보여준다.