[논문 리뷰] Variance-Reduced and Projection-Free Stochastic Optimization

Elad Hazan, Haipeng Luo|arXiv (Cornell University)|2016. 02. 05.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 79

한 줄 요약

이 논문은 $1 - \epsilon$ 정확도를 달성하는 데 필요한 확률적 그래디언트 평가 수를 크게 줄이는 두 가지 분산 감소, 투영 자유(stochastic Frank-Wolfe) 알고리즘을 제안한다. 네스테로프 가속화와 분산 감소를 조합함으로써, 매끄럽고 강력 볼록인 목적 함수에 대해 $\mathcal{O}(\ln \frac{1}{\epsilon})$의 확률적 그래디언트를 달성하고, 매끄럽고 리프시츠 조건을 만족하는 목적 함수에 대해서는 $\mathcal{O}(\frac{1}{\epsilon^{1.5}})$를 달성한다—기존 작업이 각각 $\mathcal{O}(\frac{1}{\epsilon})$와 $\mathcal{O}(\frac{1}{\epsilon^2})$가 필요로 한 것보다 향상된 결과이다.

ABSTRACT

The Frank-Wolfe optimization algorithm has recently regained popularity for machine learning applications due to its projection-free property and its ability to handle structured constraints. However, in the stochastic learning setting, it is still relatively understudied compared to the gradient descent counterpart. In this work, leveraging a recent variance reduction technique, we propose two stochastic Frank-Wolfe variants which substantially improve previous results in terms of the number of stochastic gradient evaluations needed to achieve $1-ε$ accuracy. For example, we improve from $O(\frac{1}ε)$ to $O(\ln\frac{1}ε)$ if the objective function is smooth and strongly convex, and from $O(\frac{1}{ε^2})$ to $O(\frac{1}{ε^{1.5}})$ if the objective function is smooth and Lipschitz. The theoretical improvement is also observed in experiments on real-world datasets for a multiclass classification application.

연구 동기 및 목표

• 구조적 제약 조건이 있는 대규모 기계 학습 문제를 위한 효율적인 투영 자유 확률적 최적화 방법의 부족을 해결한다.
• 확률적 프랭크-울프 알고리즘의 수렴 속도를 향상시키기 위해 $1 - \epsilon$ 정확도를 달성하는 데 필요한 확률적 그래디언트 평가 수를 줄인다.
• 분산 감소와 네스테로프 가속화를 활용하여 수렴 속도를 빠르게 하면서도 투영 자유 성질을 유지한다.
• 실세계 데이터셋에서 기존의 확률적 프랭크-울프 및 투영된 확률적 그래디언트 하강 방법과 비교하여 이론적이고 실증적인 향상을 보여준다.

제안 방법

• 분산 감소를 프랭크-울프 프레임워크에 통합하여 그래디언트 분산을 줄이는 STOC(분산 감소를 고려한 확률적 프랭크-울프)를 제안한다.
• 네스테로프 가속화와 순환 보정을 사용하는 STORC(순환 보정을 고려한 확률적 최적화)를 도입하여 수렴 속도를 향상시킨다.
• 최적 해 경로를 추적하기 위해 보조 점들의 시퀀스를 유지하는 순환 업데이트 규칙을 사용한다.
• 제어 변수를 통한 분산 감소를 적용하여 그래디언트 추정을 안정화하고 확률적 업데이트의 노이즈를 감소시킨다.
• 제약 집합 $\Omega$ 위에서 선형 하위문제를 푸는 방식으로 투영 자유 업데이트를 유지하여 계산 효율성을 확보한다.
• 매끄럽고 강력 볼록성 성질을 사용하여 기대값의 최적성 갭을 바ounds하여 더 나은 수렴 속도를 이끌어낸다.

실험 결과

연구 질문

• RQ1 강화된 그래디언트 하강 기법에서 유도된 분산 감소 기법을 투영 자유 확률적 프랭크-울프 최적화에 효과적으로 적용할 수 있는가?
• RQ2 확률적 프랭크-울프 알고리즘에서 확률적 그래디언트 평가 수와 선형 최적화 호출 수 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 네스테로프 가속화를 분산 감소와 조합하여 확률적 프랭크-울프 환경에서 더 빠른 수렴을 달성할 수 있는가?
• RQ4 실세계 기계 학습 작업에서 제안된 알고리즘이 투영된 확률적 그래디언트 하강 및 이전의 확률적 프랭크-울프 방법과 실질적으로 어떻게 비교되는가?
• RQ5 강력 볼록 목적 함수에서 투영 자유 환경에서 $\mathcal{O}(\ln \frac{1}{\epsilon})$의 확률적 그래디언트 복잡도를 달성하는 것이 가능한가?

주요 결과

• 매끄럽고 강력 볼록 목적 함수에 대해 제안된 STORC 알고리즘이 $\mathcal{O}(\ln \frac{1}{\epsilon})$의 확률적 그래디언트 평가를 달성하여 이전의 $\mathcal{O}(\frac{1}{\epsilon})$ bound를 향상시켰다.
• 매끄럽지만 강력 볼록이 아닌 목적 함수에 대해, 확률적 그래디언트 복잡도는 $\mathcal{O}(\frac{1}{\epsilon^2})$에서 $\mathcal{O}(\frac{1}{\epsilon^{1.5}})$로 감소하였다.
• 선형 최적화 호출 수는 이전 작업과 동일하게 $\mathcal{O}(\frac{1}{\epsilon})$를 유지하지만, 확률적 그래디언트 복잡도는 크게 감소하였다.
• 정확한 그래디언트 계산은 최대 $\mathcal{O}(\ln \frac{1}{\epsilon})$회 필요로 하며, 다른 연산에 비해 계산적으로 무시할 수 있다.
• 다중 클래스 분류를 위한 세 개의 대규모 실세계 데이터셋에서, 이전의 투영 자유 알고리즘과 투영된 확률적 그래디언트 하강 변형보다 뚜렷한 성능 향상을 보였다.
• 이론적 수렴 속도는 실증적으로도 검증되었으며, 제안된 방법은 수렴 속도와 최종 정확도 측면에서 베이스라인 알고리즘을 능가하였다.