[논문 리뷰] On the Sublinear Convergence of Randomly Perturbed Alternating Gradient Descent to Second Order Stationary Solutions

Songtao Lu, Mingyi Hong외 1명|arXiv (Cornell University)|2018. 02. 28.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 비볼록 최적화에서 이차 정류점(Second-order Stationary, SS2)으로의 전역 하향 수렴을 달성하는 펌프된 교대 경사하강법(PA-GD) 알고리즘을 제안한다. 두 변수 블록의 교대 업데이트 중에 무작위 펌프를 도입함으로써 PA-GD는 엄격한 안장점(Strict Saddle Points)을 회피하고 높은 확률로 $\mathcal{O}(\text{polylog}(d)/\epsilon^{7/3})$ 반복 이내에 수렴한다. 이는 교대 유형 알고리즘에 대해 이러한 결과를 처음으로 이룬다.

ABSTRACT

The alternating gradient descent (AGD) is a simple but popular algorithm which has been applied to problems in optimization, machine learning, data ming, and signal processing, etc. The algorithm updates two blocks of variables in an alternating manner, in which a gradient step is taken on one block, while keeping the remaining block fixed. When the objective function is nonconvex, it is well-known the AGD converges to the first-order stationary solution with a global sublinear rate. In this paper, we show that a variant of AGD-type algorithms will not be trapped by "bad" stationary solutions such as saddle points and local maximum points. In particular, we consider a smooth unconstrained optimization problem, and propose a perturbed AGD (PA-GD) which converges (with high probability) to the set of second-order stationary solutions (SS2) with a global sublinear rate. To the best of our knowledge, this is the first alternating type algorithm which takes $\mathcal{O}( ext{polylog}(d)/ε^{7/3})$ iterations to achieve SS2 with high probability [where polylog$(d)$ is polynomial of the logarithm of dimension $d$ of the problem].

연구 동기 및 목표

• 비볼록 최적화에서 교대 경사하강법(AGD)이 이차 정류점(SS2)으로의 증명 가능한 전역 수렴 속도를 가지는지 여부라는 열린 문제를 해결하기 위해.
• 무작위 펌프를 통합하여 AGD의 변종을 설계하여 엄격한 안장점과 국소 최대점에서의 정체를 회피하기 위해.
• 光滑성(smoothness) 및 헤시안(Hessian) 유계성 가정 하에 제안된 펌프된 알고리즘에 대해 SS2로의 전역 하향 수렴 속도를 확립하기 위해.
• 알고리즘이 차원의 로그함수에 비례하는 반복 복잡도를 갖는 높은 확률로 SS2로 수렴함을 보여주기 위해.

제안 방법

• 두 변수 블록에 대해 교대로 경사하강 스텝을 수행하면서, 각 블록 업데이트 후에 독립적인 등방향 가우시안 노이즈를 도입한다.
• 기울기 노름이 작을 경우에도 안장점에서의 탈출을 보장하기 위해 펌프의 크기를 조정하며, 음의 곡률 정보를 활용한다.
• 유계 노름 가정 하에 헤시안 리프시츠 조건과 블록별 기울기 리프시츠 연속성의 경계를 설정하는 데 기반한다.
• 리아푸노프 함수와 확률적 추론을 사용하여 SS2로의 높은 확률 수렴을 이론적으로 도출한다.
• 잠재 함수의 하향 수렴 속도를 분석함으로써 반복 복잡도를 분석하며, 펌프로 인해 비-SS2 점에서 정체되는 것을 방지한다.
• 다항식 및 이차 형식을 포함한 두 번 미분 가능한 목표 함수를 갖는 비볼록 문제의 일군에 적용된다.

실험 결과

연구 질문

• RQ1 교대 경사하강법이 엄격한 안장점에서 탈출하고 증명 가능한 전역 수렴 속도로 이차 정류점으로 수렴할 수 있는가?
• RQ2 비볼록 최적화에서 SS2에 도달하기 위해 펌프된 교대 방법의 최적 반복 복잡도는 무엇인가?
• RQ3 무작위 펌프는 국소 최대점과 안장점에서의 AGD 수렴 거동에 어떤 영향을 미치는가?
• RQ4 문제 차원에 따라 독립적으로 수렴 속도를 경계할 수 있는가, 단지 다항로그함수 요소를 제외하고?
• RQ5 펌프 전략은 높은 확률 수렴을 보장하면서도 하향 수렴 속도를 유지할 수 있는가?

주요 결과

• 제안된 PA-GD 알고리즘은 $\mathcal{O}(\text{polylog}(d)/\epsilon^{7/3})$ 반복 이내에 높은 확률로 이차 정류점 집합으로 수렴한다.
• 기울기 노름이 작을 때조차도 무작위 펌프의 도입으로 인해 엄격한 안장점에서 탈출하는 데 성공한다.
• 수렴 속도는 전역적으로 하향 수렴이며, 표준 경사하강법의 알려진 속도와 일치하지만, 해의 품질이 더 향상되어 SS1이 아닌 SS2로 수렴한다.
• 변수 노름 유계성 조건 하에 헤시안 리프시츠 조건이 성립하여, 펌프된 동역학의 이론적 분석이 가능해진다.
• 수치 실험 결과, PA-GD는 특히 기울기가 소멸하는 원점 근처에서 표준 AGD보다 안장점 탈출 속도가 더 빠름을 확인한다.
• 이중 미분 정보나 고비용의 헤시안 계산이 필요 없이도 수렴이 가능하므로, 고차원 문제에 대해 확장 가능하다.