[논문 리뷰] On the Randomized Complexity of Minimizing a Convex Quadratic Function

Max Simchowitz|arXiv (Cornell University)|2018. 07. 24.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 10

한 줄 요약

이 논문은 볼록 이차 함수 최소화를 위한 랜덤화된 기울기 질의 복잡도에 대해 처음으로 날카운 하한을 확립하며, 랜덤화가 되어 있더라도 상수 요소의 상대 오차를 달성하기 위해 $\Omega(\sqrt{\kappa})$개의 질의가 필요하다는 것을 보여주며, 네스테로프의 가속화 방법의 성능와 일치한다. 이 결과는 랜덤 행렬 이론과 최소 평균 제곱 오차 분석 도구를 사용하여 변형된 위그너 모델에서 심은 벡터를 추정하는 문제로의 감소를 통해 도출된다.

ABSTRACT

Minimizing a convex, quadratic objective of the form $f_{\mathbf{A},\mathbf{b}}(x) := \frac{1}{2}x^ op \mathbf{A} x - \langle \mathbf{b}, x angle$ for $\mathbf{A} \succ 0 $ is a fundamental problem in machine learning and optimization. In this work, we prove gradient-query complexity lower bounds for minimizing convex quadratic functions which apply to both deterministic and \emph{randomized} algorithms. Specifically, for $κ> 1$, we exhibit a distribution over $(\mathbf{A},\mathbf{b})$ with condition number $\mathrm{cond}(\mathbf{A}) \le κ$, such that any \emph{randomized} algorithm requires $Ω(\sqrtκ)$ gradient queries to find a solution $\hat x$ for which $\|\hat x - \mathbf x_\star\| \le ε_0\|\mathbf{x}_{\star}\|$, where $\mathbf x_{\star} = \mathbf{A}^{-1}\mathbf{b}$ is the optimal solution, and $ε_0$ a small constant. Setting $κ=1/ε$, this lower bound implies the minimax rate of $T = Ω(λ_1(\mathbf{A})\|\mathbf x_\star\|^2/\sqrtε)$ queries required to minimize an arbitrary convex quadratic function up to error $f(\hat{x}) - f(\mathbf x_\star) \le ε$. Our lower bound holds for a distribution derived from classical ensembles in random matrix theory, and relies on a careful reduction from adaptively estimating a planted vector $\mathbf u$ in a deformed Wigner model. A key step in deriving sharp lower bounds is demonstrating that the optimization error $\mathbf x_\star - \hat x$ cannot align too closely with $\mathbf{u}$. To this end, we prove an upper bound on the cosine between $\mathbf x_\star - \hat x$ and $\mathbf u$ in terms of the MMSE of estimating the plant $\mathbf u$ in a deformed Wigner model. We then bound the MMSE by carefully modifying a result due to Lelarge and Miolane 2016, which rigorously establishes a general replica-symmetric formula for planted matrix models.

연구 동기 및 목표

• 볼록 이차 함수 최소화를 위한 1차 방법의 최악의 경우와 평균 경우 복잡도 사이의 격차를 메우기.
• 결정론적 알고리즘뿐 아니라 랜덤 알고리즘에도 적용 가능한 기울기 질의 복잡도에 대한 하한을 확립하기.
• Nesterov의 방법에서 알려진 상한과 일치하는 바, 랜덤화가 되어 있더라도 $\Omega(\sqrt{\kappa})$ 질의의 최소화율이 피할 수 없다는 것을 보여주기.
• 이차 최소화의 본질적 어려움을 반영하는 랜덤 행렬 이론에서 유도된 문제 인스턴스의 분포를 도출하기.
• 최적화 오차가 심은 신호와 너무 가까이 일치할 수 없음을 보이며, 변형된 위그너 모델에서 최소 평균 제곱 오차와의 새로운 연결 고리를 사용하기.

제안 방법

• 볼록 이차 함수 최소화 문제를 변형된 위그너 행렬 모델 $\mathbf{M} = \mathbf{W} + \lambda \mathbf{u}\mathbf{u}^\top$에서 심은 벡터 $\mathbf{u}$ 추정 문제로 감소시킨다.
• 최적화 오차 $\mathbf{x}_\star - \widehat{\mathsf{x}}$와 심은 벡터 $\mathbf{u}$ 사이의 오버랩을 제한하기 위해 조건부 교차항 $\mathrm{Cross}(\mathbf{u}\mathbf{u}^\top \mid \mathbf{b})$를 사용한다.
• Lelarge와 Miolane(2016)의 점근적 MMSE 분석 프레임워크에 맞추기 위해 변형 매개변수 $\lambda \leftarrow \sqrt{\rho}$로 재매개변수화한다.
• 예상 오버랩 $\mathtt{ovlap}_{d,\lambda}(\tau_0)$를 평균 매개변수화된 교차항 $\check{\mathrm{Cross}}_d(\rho; \mu)$로 표현하기 위해 잘라내기와 회전 대칭성 논증을 사용한다.
• 문제의 특정 조건부 분포와 기대 구조를 다루기 위해 Lelarge와 Miolane(2016)의 점근적 MMSE 공식을 수정한다.
• 한계 표현식 $\lim_{d\to\infty} \mathbb{E}_{\bm{\alpha}}[\mathbb{I}(|\bm{\alpha}-1|\leq d^{-1/4})\check{\mathrm{Cross}}_d(\rho; \mu\bm{\alpha})] \leq 1 + \mu^2 - \frac{1}{\rho} + \frac{|\mu|}{\sqrt{\rho}}$을 사용하여 오버랩에 대한 균일한 상한을 도출한다.

실험 결과

연구 질문

• RQ1 볼록 이차 함수 최소화를 위한 랜덤화된 1차 알고리즘이 결정론적 알고리즘보다 더 나은 기울기 질의 복잡도를 달성할 수 있는가?
• RQ2 상대 오차 $\|\widehat{\mathsf{x}} - \mathbf{x}_\star\| \leq \epsilon_0 \|\mathbf{x}_\star\|$를 위한 최악의 경우 하한 $\Omega(\sqrt{\kappa})$ 질의가 랜덤 알고리즘에게도 적용 가능한가?
• RQ3 헤시안 $\mathbf{A}$가 변형된 위그너 행렬일 때, 심은 벡터 $\mathbf{u}$는 최적화 오차에서 어떤 역할을 하는가?
• RQ4 변형된 위그너 모델에서의 최소 평균 제곱 오차(MMSE)는 최적화 오차와 진짜 해 사이의 일치 정도를 상한으로 제시할 수 있는가?
• RQ5 랜덤화 조건 하에서도 이차 최소화의 최소 최대 질의 복잡도가 네스테로프의 가속화 방법이 달성하는 비율과 일치하는가?

주요 결과

• 논문은 임의의 랜덤 알고리즘에 대해 $\|\widehat{\mathsf{x}} - \mathbf{x}_\star\| \leq \epsilon_0 \|\mathbf{x}_\star\|$ 를 달성하기 위해 $\Omega(\sqrt{\kappa})$ 기울기 질의가 필요하다는 하한을 확립하며, 여기서 $\kappa = \mathrm{cond}(\mathbf{A})$ 이다. 이 하한은 전 세계적으로 통용되는 상수 $\epsilon_0 > 0$ 에 대해 성립한다.
• 이 하한은 네스테로프의 가속화 방법에서 알려진 상한 $\widetilde{\Theta}(\sqrt{\kappa})$ 와 일치하며, 비율의 날카운 성질을 보여준다.
• 이 하한은 랜덤 행렬 이론의 고전적 엔sembles인 변형된 위그너 모델에서 유도된 $\mathbf{A}, \mathbf{b}$ 에 대한 분포에 대해 성립한다.
• 최적화 오차 $\mathbf{x}_\star - \widehat{\mathsf{x}}$ 는 심은 벡터 $\mathbf{u}$ 와 너무 가까이 일치할 수 없으며, 이는 오버랩 $\mathtt{ovlap}_{d,\lambda}(\tau_0)$ 를 통해 정량화된다.
• Lelarge와 Miolane(2016)의 MMSE 공식을 수정하여 유도된 점근적 하한 $\lim_{d\to\infty} \mathtt{ovlap}_{d,\lambda}(\tau_0) \leq 1 - \frac{1}{\lambda^2} + \tau_0 - \frac{\sqrt{\tau_0}}{\lambda}$ 이다.
• $\kappa = 1/\epsilon$ 로 설정하면, 목적 함수 값의 $\epsilon$-정밀도를 위한 조건 없는 하한 $\Omega(\lambda_1(\mathbf{A})\|\mathbf{x}_\star\|^2 / \sqrt{\epsilon})$ 질의가 도출된다.