[논문 리뷰] Near-optimal method for highly smooth convex optimization

Sébastien Bubeck, Qijia Jiang외 3명|arXiv (Cornell University)|2018. 12. 19.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 13

한 줄 요약

이 논문은 p차 미분이 L_p-립시츠인 볼록 최적화 문제에 대해 near-optimal 수렴 속도를 달성하는 가속 테일러 강하(ACD)를 제안한다. 몬테이로-스바이터 유형의 가속화 프레임워크 내에서 고차수의 스무스니스를 활용하고, 새로운 선색션 전략을 도입함으로써, ATD는 $\widetilde{O}(1/k^{\frac{3p+1}{2}})$의 수렴 속도를 달성하며, 이는 p차 미분 스무스 볼록 함수에 대해 알려진 최상의 하한값과 일치한다.

ABSTRACT

We propose a near-optimal method for highly smooth convex optimization. More precisely, in the oracle model where one obtains the $p^{th}$ order Taylor expansion of a function at the query point, we propose a method with rate of convergence $ ilde{O}(1/k^{\frac{ 3p +1}{2}})$ after $k$ queries to the oracle for any convex function whose $p^{th}$ order derivative is Lipschitz.

연구 동기 및 목표

• 고차수 스무스니스(p ≥ 2) 조건 하에서 볼록 최적화의 최적 수렴 속도에 대한 격차를 메우며, 고전적인 네스테로프 스타일의 가속화를 일반화한다.
• p차 미분 스무스 볼록 함수에 대해 가능한 한 최고의 수렴 속도를 달성하는 방법을 개발하며, 최근에 확립된 하한값과 일치시킨다.
• 각 반복을 $\widetilde{O}(1)$번의 p차 오라클 호출만을 사용하여 효율적으로 구현할 수 있도록 설계하여, 이전 접근 방식에서 제기된 복잡도 문제를 해결한다.
• 알고리즘 내 선색션 절차에 대한 엄밀한 분석을 제공하여, 오라클 복잡도를 통제하면서도 실용적으로 적용 가능한 방법을 확보한다.

제안 방법

• 목적 함수의 쿼리 포인트에서의 전체 p차 테일러 전개를 반환하는 p차 오라클 기반의 새로운 최적화 알고리즘인 가속 테일러 강하(ATD)를 제안한다.
• 몬테이로-스바이터 가속화 프레임워크를 고차수 스무스니스에 맞게 조정하며, $a_k$, $A_k$, 및 $\widetilde{x}_k$의 수열을 사용해 모멘타임 유사 업데이트를 구현하여 수렴을 이끈다.
• 각 단계에서 충분한 진전을 확보하기 위해 $\frac{1}{2} \leq \lambda_{k+1} \frac{L_p \|y_{k+1} - \widetilde{x}_k\|^{p-1}}{(p-1)!} \leq \frac{p}{p+1}$ 조건을 만족하는 $\lambda_{k+1}$를 결정하는 선색션 메커니즘을 도입한다.
• 이격된 간격에서의 바이너리 서치 전략을 사용하여 적절한 $\lambda_{k+1}$를 찾으며, 각 반복당 오라클 호출 수가 $30p\log_2 p + \log_2\left\lceil \frac{L_p \|x^*\|^{p+1}}{\varepsilon} \right\rceil$ 이내로 제한된다.
• 반복점과 최적점 사이의 거리를 통제하기 위해 $\sigma$-강볼록성 유사 조건을 활용한 정교한 오차 경계를 도입하여, 엄밀한 수렴 분석이 가능하도록 한다.
• 반복점 $x_k$와 $y_k$가 각각 $\|x^*\|$ 및 $4\|x^*\|$ 이내에 머무르며, 수렴 안정성과 유한성 보장을 한다.

실험 결과

연구 질문

• RQ1 고차수 스무스니스(p ≥ 2) 조건 하에서, 고전적인 가속 현상이 최적 수렴 속도를 달성하도록 일반화될 수 있는가?
• RQ2 p차 오라클을 사용할 때, p차 미분 스무스 볼록 함수의 최적 수렴 속도는 무엇인가?
• RQ3 고차수 가속화의 선색션 단계는 얼마나 효율적으로 오라클 호출 수를 통제하면서 실행할 수 있는가?
• RQ4 선색션의 복잡도는 전체 $\widetilde{O}(1/k^{(3p+1)/2})$ 수렴 속도를 유지할 수 있도록 어떻게 제한할 수 있는가?
• RQ5 실용적이고 실행 가능한 알고리즘을 통해 p차 미분 스무스니스의 하한값을 정확히 달성하는 것은 가능한가?

주요 결과

• ATD는 p차 도함수가 $L_p$-립시츠인 모든 볼록 함수에 대해 $O(1/k^{\frac{3p+1}{2}})$의 수렴 속도를 달성하며, 이는 이 설정에서 알려진 최상의 하한값과 정확히 일치한다.
• p > 1일 경우 이전 연구에서의 $O(1/k^{p+1})$ 속도보다 향상되었으며, $p=2$일 경우 이전 연구에서 확립된 $O(1/k^{\frac{7}{2}})$ 속도와도 일치한다.
• ATD의 각 반복은 오직 $\widetilde{O}(1)$번의 p차 오라클 호출만으로도 실행 가능하며, 특히 각 반복당 최대 $30p\log_2 p + \log_2\left\lceil \frac{L_p \|x^*\|^{p+1}}{\varepsilon} \right\rceil$번의 호출로 이루어진다.
• 알고리즘은 모든 $k$에 대해 $\|x_k - x^*\| \leq \|x^*\|$ 및 $\|y_k - x^*\| \leq 4\|x^*\|$를 보장하여 반복점이 유한함을 보장한다.
• 오차에 대한 엄밀한 경계가 확립되었으며, $f(y_k) - f(x^*) \leq \frac{c_p \cdot L_p \cdot \|x^*\|^{p+1}}{k^{\frac{3p+1}{2}}}$ 이며, 여기서 $c_p = 2^{p-1}(p+1)^{\frac{3p+1}{2}} / (p-1)!$이다.
• 바이너리 서치와 립시츠 연속성 논증을 통해 선색션의 복잡도가 엄밀히 제한되며, 총 오라클 비용이 원하는 정밀도 $\varepsilon$에 대해 로그 수준으로 유지됨을 보장한다.