[논문 리뷰] A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization

Dan Garber, Elad Hazan|arXiv (Cornell University)|2013. 01. 20.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 63

한 줄 요약

이 논문은 다각형 집합 위에서 미세하고 강력한 볼록 최적화를 위한 새로운 조건부 기울기 알고리즘을 제안하며, 반복마다 선형 최적화 오라클을 단 한 번만 호출함으로써 선형 수렴 속도를 달성한다. 이는 이전 방법에 비해 지수적 향상이다. 이 알고리즘은 각 라운드당 선형 오라클 호출을 한 번만 사용함으로써 온라인 볼록 최적화에서 최적의 누적 손실 한계를 달성하며, 분야 내에서 열려 있는 문제를 해결한다.

ABSTRACT

Linear optimization is many times algorithmically simpler than non-linear convex optimization. Linear optimization over matroid polytopes, matching polytopes and path polytopes are example of problems for which we have simple and efficient combinatorial algorithms, but whose non-linear convex counterpart is harder and admits significantly less efficient algorithms. This motivates the computational model of convex optimization, including the offline, online and stochastic settings, using a linear optimization oracle. In this computational model we give several new results that improve over the previous state-of-the-art. Our main result is a novel conditional gradient algorithm for smooth and strongly convex optimization over polyhedral sets that performs only a single linear optimization step over the domain on each iteration and enjoys a linear convergence rate. This gives an exponential improvement in convergence rate over previous results. Based on this new conditional gradient algorithm we give the first algorithms for online convex optimization over polyhedral sets that perform only a single linear optimization step over the domain while having optimal regret guarantees, answering an open question of Kalai and Vempala, and Hazan and Kale. Our online algorithms also imply conditional gradient algorithms for non-smooth and stochastic convex optimization with the same convergence rates as projected (sub)gradient methods.

연구 동기 및 목표

• 다각형 집합 위에서 매끄럽고 강력한 볼록 최적화를 위한 조건부 기울기 알고리즘을 개발하여, 최소한의 선형 최적화 오라클 호출로 선형 수렴 속도를 달성하는 것.
• 각 라운드당 선형 최적화 단계를 한 번만 사용하여 다각체 위에서 온라인 볼록 최적화에서 최적의 누적 손실을 달성하는 열린 문제를 해결하는 것.
• 제안된 알고리즘을 비미세 및 확률적 볼록 최적화 설정으로 확장하여, 투영 (부)기울기 방법의 수렴 속도를 유지하면서 투영을 선형 오라클 호출로 대체하는 것.
• 조건부 기울기 유사 방법의 오라클 복잡도에 대한 이론적 하한을 설정하여, 제안된 알고리즘의 성능이 로그 인자까지 거의 최적임을 보여주는 것.

제안 방법

• 반복마다 선형 최적화 오라클 호출을 단 한 번만 수행하고, 다각형 집합 위에서 매끄럽고 강력한 볼록 목적 함수에 대해 선형 수렴을 달성하는 새로운 조건부 기울기 알고리즘을 제안한다.
• 목적 함수의 충분한 감소를 보장하면서 탇도성과 수렴 보장을 유지하는 새로운 선형 탐색 및 갱신 규칙을 도입한다.
• 다각형 집합의 구조를 활용하여, 선형 최적화를 통해 확보된 정점들의 볼록 조합을 통해 알고리즘의 반복값이 타당 영역 내에 유지되도록 보장한다.
• 랜덤화된 온라인 변형을 구성함으로써 새로운 알고리즘을 온라인 볼록 최적화에 적용하여, 최적의 $\tilde{O}(\text{poly}(D, G)\rho\text{poly}(T))$ 순서의 누적 손실 한계를 유지한다.
• 스무딩 및 샘플링 기법을 결합하여 프레임워크를 비미세 및 확률적 설정으로 확장함으로써, 수렴 속도를 유지한다.
• 확률 단-simplex를 기반으로 한 하한 증명을 통해, $\frac{1}{4n}$-정확도를 달성하기 위해 필요한 선형 오라클 호출 수가 $\tilde{\theta}(n)$임을 보이며, 제안된 방법의 near-optimality를 입증한다.

실험 결과

연구 질문

• RQ1 다각체 위에서 매끄럽고 강력한 볼록 최적화를 위한 조건부 기울기 알고리즘이 반복마다 선형 최적화 오라클 호출을 한 번만 사용하여 선형 수렴을 달성할 수 있는가?
• RQ2 다각형 영역을 위한 온라인 조건부 기울기 알고리즘을 설계하여, 각 라운드당 선형 최적화 단계를 한 번만 사용하여 최적의 누적 손실을 달성할 수 있는가?
• RQ3 제안된 알고리즘이 비미세 및 확률적 볼록 최적화 설정으로 확장되어, 투영 (부)기울기 방법의 수렴 속도를 유지할 수 있는가?
• RQ4 다각체 위에서 매끄럽고 강력한 볼록 문제에 대해 조건부 기울기 유사 알고리즘의 오라클 복잡도는 얼마나 날카로운가?

주요 결과

• 제안된 알고리즘은 다각체 위에서 매끄럽고 강력한 볼록 최적화에 대해 선형 수렴 $e^{-\tilde{\theta}(t)}$를 달성하며, 이는 이전의 $t^{-1}$ 속도에 비해 지수적 향상이다.
• 볼록 손실이 있는 온라인 볼록 최적화에서는 최적의 누적 손실 순서 $\tilde{O}(\rho\text{poly}(T))$를 달성하며, 이는 투영 기울기 방법의 $\tilde{O}(\rho\text{poly}(T))$ 한계와 일치한다.
• 온라인 강력 볼록 손실의 경우, 알고리즘은 순서 $\tilde{O}(\text{poly}(\rho)\text{poly}(\text{log} T))$의 누적 손실을 달성하며, 가장 잘 알려진 한계와 일치한다.
• 단순형에서 $\theta$-정확도를 달성하기 위해 알고리즘은 $O(n \text{log}(1/\theta))$개의 선형 오라클 호출을 필요로 하며, 이는 $\tilde{\theta}(n)$ 하한과 로그 인자까지 일치한다.
• 비미세 및 확률적 설정에서 투영 (부)기울기 방법과 동일한 수렴 속도를 달성하지만, 비용이 많이 드는 투영을 효율적인 선형 최적화 단계로 대체한다.