[논문 리뷰] Escaping Saddle Points in Constrained Optimization

Aryan Mokhtari, Asuman Ozdaglar외 1명|arXiv (Cornell University)|2018. 09. 06.

Sparse and Compressive Sensing Techniques인용 수 30

한 줄 요약

이 논문은 제약 조건이 있는 비볼록 최적화 문제에서 안장점을 탈출하기 위해 일阶 및 이阶 정보를 조합하는 일반적인 최적화 프레임워크를 제안한다. 타당 집합이 이차 프로그래밍의 효율적 근사 해를 허용할 경우, 이 프레임워크는 $\mathcal{O}(\max\{\epsilon^{-2}, \rho^{-3}\gamma^{-3}\})$ 반복 내에 $(\epsilon,\gamma)$-이阶 정류점에 수렴한다. 이 방법은 엄격한 안장점 조건 하에서 국소 최소점으로의 수렴을 보장한다.

ABSTRACT

In this paper, we study the problem of escaping from saddle points in smooth nonconvex optimization problems subject to a convex set $\mathcal{C}$. We propose a generic framework that yields convergence to a second-order stationary point of the problem, if the convex set $\mathcal{C}$ is simple for a quadratic objective function. Specifically, our results hold if one can find a $ρ$-approximate solution of a quadratic program subject to $\mathcal{C}$ in polynomial time, where $ρ<1$ is a positive constant that depends on the structure of the set $\mathcal{C}$. Under this condition, we show that the sequence of iterates generated by the proposed framework reaches an $(ε,γ)$-second order stationary point (SOSP) in at most $\mathcal{O}(\max\{ε^{-2},ρ^{-3}γ^{-3}\})$ iterations. We further characterize the overall complexity of reaching an SOSP when the convex set $\mathcal{C}$ can be written as a set of quadratic constraints and the objective function Hessian has a specific structure over the convex set $\mathcal{C}$. Finally, we extend our results to the stochastic setting and characterize the number of stochastic gradient and Hessian evaluations to reach an $(ε,γ)$-SOSP.

연구 동기 및 목표

• 제약 조건이 있는 비볼록 최적화에서 첫째로 정류점이 국소 최소점에 해당하지 않을 수 있는 안장점 탈출 문제를 다루기 위해.
• 일阶 및 이阶 정보를 모두 활용하여 이阶 정류점(SOSPs)으로 수렴하는 일반적인 알고리즘 프레임워크를 개발하기 위해.
• 제약 집합 $\mathcal{C}$ 와 목적 함수의 해시안에 대한 특정 구조적 가정 하에 $(\epsilon,\gamma)$-SOSP에 도달하는 반복 및 산술 복잡도를 규명하기 위해.
• 스토하스틱 설정으로 프레임워크를 확장하여, 수렴을 위해 필요한 스 tochastic 그라디언트 및 해시안 평가 횟수를 분석하기 위해.

제안 방법

• 프레임워크는 두 단계로 구성된다: 첫째, 일阶 방법을 사용해 일阶 정류점에 도달한다; 둘째, 이阶 정보를 적용해 엄격한 안장점이나 국소 최대점에서 벗어나도록 한다.
• 이 방법은 타당 집합 $\mathcal{C}$ 위에서 이차 프로그래밍의 $\rho$-근사 해를 다항 시간 내에 계산할 수 있다는 것에 의존하며, $\rho < 1$은 $\mathcal{C}$ 의 구조에 따라 정해지는 상수이다.
• 무작위 방향 $\mathbf{d}_t$ 를 사용해 타당 집합 내의 곡률을 테스트하여, 음의 곡률을 높은 확률로 탐지한다.
• 편차가 유한한 스 tochastic 그라디언트 및 해시안을 사용하며, 배치 크기를 조절해 곡률 추정 오류의 확률을 제어한다.
• 점이 $(\epsilon,\gamma)$-SOSP가 아니면, 신중히 구성된 내림방향을 통해 목적 함수 값이 충분히 감소함을 보장한다.
• 이차 제약 조건이 있는 경우, 알고리즘은 $\mathcal{O}(\max\{\tau\epsilon^{-2}, d^3 m^7 \gamma^{-3}\})$회의 산술 연산을 수행하며, 여기서 $\tau$ 는 선형 프로그래밍을 풀거나 $\mathcal{C}$ 에 투영하는 데 드는 비용이다.

실험 결과

연구 질문

• RQ1 제약 집합 $\mathcal{C}$ 가 어떤 조건을 만족할 경우, 일阶 및 이阶 정보의 조합을 통해 제약 조건이 있는 비볼록 최적화 문제에서 안장점을 효율적으로 탈출할 수 있는가?
• RQ2 타당 집합이 이차 프로그래밍의 $\rho$-근사 해를 허용할 경우, $(\epsilon,\gamma)$-이阶 정류점에 도달하는 데 필요한 반복 복잡도는 무엇인가?
• RQ3 알고리즘의 복잡도는 차원 $d$, 이차 제약 조건의 수 $m$, 정확도 파라미터 $\epsilon$ 및 $\gamma$ 에 따라 어떻게 증가하는가?
• RQ4 스토하스틱 설정에서 $(\epsilon,\gamma)$-SOSP에 도달하기 위해 필요한 스 tochastic 그라디언트 및 해시안 평가 횟수는 얼마인가?
• RQ5 노이즈가 있는 그라디언트 및 해시안 추정치를 사용할 경우, 프레임워크가 높은 확률로 SOSP로 수렴을 보장할 수 있는가?

주요 결과

• 타당 집합 $\mathcal{C}$ 에서 이차 프로그래밍의 $\rho$-근사 해를 다항 시간 내에 계산할 수 있으면, 제안된 프레임워크는 최대 $\mathcal{O}(\max\{\epsilon^{-2}, \rho^{-3}\gamma^{-3}\})$회의 반복 내에 $(\epsilon,\gamma)$-이阶 정류점에 수렴한다.
• 이차 제약 조건으로 정의된 볼록 집합과 특정한 해시안 구조 하에서, 총 산술 복잡도는 $\mathcal{O}(\max\{\tau\epsilon^{-2}, d^3 m^7 \gamma^{-3}\})$ 이하로 유계가 된다. 여기서 $\tau$ 는 선형 프로그래밍을 풀거나 $\mathcal{C}$ 에 투영하는 데 드는 비용이다.
• 스토하스틱 설정에서는 $(\epsilon,\gamma)$-SOSP에 도달하기 위해 $\mathcal{O}(\max\{\epsilon^{-4}, \epsilon^{-2}\rho^{-4}\gamma^{-4}, \rho^{-7}\gamma^{-7}\})$회의 스 tochastic 그라디언트 평가와 $\mathcal{O}(\max\{\epsilon^{-2}\rho^{-3}\gamma^{-3}, \rho^{-5}\gamma^{-5}\})$회의 스 tochastic 해시안 평가가 필요하다.
• 스 tochastic 그라디언트 및 해시안에 대해 적절한 배치 크기를 선택하면, 알고리즘의 출력이 $(\epsilon,\gamma)$-SOSP일 확률가 최소 0.92 이상이 된다.
• 프레임워크는 점이 SOSP가 아니면, 음의 곡률을 높은 확률로 활용하는 내림방향을 통해 목적 함수 값이 충분히 감소함을 보장한다.
• 분석 결과, 높은 확률로 해시안 근사 오차와 그라디언트 추정 오차가 유계이므로, 타당 집합 내에서 음의 곡률을 신뢰성 있게 탐지할 수 있다.