[논문 리뷰] Linearly Convergent Frank-Wolfe with Backtracking Line-Search

Fabián Pedregosa, Geoffrey Négiar외 2명|arXiv (Cornell University)|2018. 06. 13.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 충족 감소 조건을 기반으로 백트래킹 선색색을 사용하여 스텝 사이즈를 설정하는 비정확한 Away-steps 및 Pairwise Frank-Wolfe 알고리즘의 변종을 제안한다. 이는 정확한 선색색 또는 목적 함수 곡률에 대한 사전 지식이 필요로 하지 않게 한다. 이러한 방법들은 다각형 위의 강凸 함수에 대해 선형 수렴를 달성하면서도 실세계 기계학습 문제에서 근사 선형 하위문제를 다룰 수 있도록 실용성을 확보한다.

ABSTRACT

Structured constraints in Machine Learning have recently brought the Frank-Wolfe (FW) family of algorithms back in the spotlight. While the classical FW algorithm has poor local convergence properties, the Away-steps and Pairwise FW variants have emerged as improved variants with faster convergence. However, these improved variants suffer from two practical limitations: they require at each iteration to solve a 1-dimensional minimization problem to set the step-size and also require the Frank-Wolfe linear subproblems to be solved exactly. In this paper, we propose variants of Away-steps and Pairwise FW that lift both restrictions simultaneously. The proposed methods set the step-size based on a sufficient decrease condition, and do not require prior knowledge of the objective. Furthermore, they inherit all the favorable convergence properties of the exact line-search version, including linear convergence for strongly convex functions over polytopes. Benchmarks on different machine learning problems illustrate large performance gains of the proposed variants.

연구 동기 및 목표

• Away-steps 및 Pairwise Frank-Wolfe의 실용적 한계를 해결하기 위해 정확한 선색색 및 정확한 선형 최소화 오라클이 요구되는 문제를 해결하고자 한다.
• 목적 함수의 성질(예: 리프시츠 상수 또는 곡률)에 대한 사전 지식이 필요로 하지 않는 실용적이고 즉시 사용 가능한 방법의 변종을 개발하고자 한다.
• 정확한 변종의 유리한 선형 수렴 속도를 유지하면서도 선형 하위문제의 근사적 해법을 允許하고자 한다.
• 정확한 LMO가 불가능한 문제들(예: 트레이스 노름 제약 최적화)으로의 Frank-Wolfe 방법의 적용 범위를 넓히고자 한다.
• 정확한 하위문제 해법이 없는 상황에서 백트래킹 선색색이 정확한 선색색과 동일한 수렴 보장을 달성할 수 있음을 보여주고자 한다.

제안 방법

• 충분한 감소 조건을 기반으로 스텝 사이즈를 설정하는 백트래킹 선색색 전략을 도입하여 각 반복에서 충분한 진전을 확보한다.
• 충분한 감소 조건: $ f(x_t + \gamma d_t) \leq f(x_t) - \delta \gamma \langle \nabla f(x_t), d_t \rangle $, $ \delta \in (0,1) $을 사용하여 스텝 사이즈를 결정한다.
• 정확한 선색색이 필요 없도록 하기 위해, 조건을 만족할 때까지 감소하는 스텝 사이즈에서 목적 함수를 평가하는 방식으로 스텝 사이즈 선택을 백트래킹으로 수행한다.
• 선형 최소화 오라클이 허용 오차 내에서 해를 반환하도록 허용함으로써 근사 선형 하위문제를 다룰 수 있도록 방법을 적응시켰으며, 수렴 보장을 유지한다.
• Away-steps FW 및 Pairwise FW에 이 프레임워크를 적용하고, 표준 Frank-Wolfe 및 Matching Pursuit로도 확장 가능함을 보였다.
• 이중 노름 기반 분석을 통해 수렴 속도를 유도하였으며, 활성 집합의 최소 Away 가중치와 활성 집합의 조건수를 활용한다.

실험 결과

연구 질문

• RQ1 Frank-Wolfe 변종이 정확한 선색색 또는 목적 함수 곡률에 대한 지식 없이도 선형 수렴를 달성할 수 있는가?
• RQ2 백트래킹 선색색을 사용할 경우, 다각형 위의 강凸 함수에 대해 Away-steps 및 Pairwise FW의 선형 수렴 속도가 유지되는가?
• RQ3 선형 하위문제가 정확하게 해결되는 것이 아니라 근사적으로 해결될 경우, 제안된 방법이 여전히 수렴 보장을 유지하는가?
• RQ4 근사 하위문제와 적응형 스텝 사이즈가 기계학습 문제에서 Frank-Wolfe 방법의 실용적 성능에 어떤 영향을 미치는가?
• RQ5 백트래킹 기반 변종이 실세계 기계학습 문제에서 정확한 변종보다 성능가능성이 높은가?

주요 결과

• 제안된 Away-steps 및 Pairwise FW의 백트래킹 선색색 변종은 다각형 위의 강凸 함수에 대해 선형 수렴를 달성하며, 기존에 알려진 최상의 이론적 수렴 속도를 그대로 유지한다.
• 목적 함수의 곡률 또는 리프시츠 상수에 대한 지식이 필요 없어져 실세계 적용에 실용적이다.
• 수렴 속도는 $ h_{t+1} \leq \left(1 - \delta^2 \frac{\mu \cdot \text{mDW}(\mathcal{B})^2}{L_t R^2}\right) h_t $로 유계되며, 표준 가정 하에 선형 수렴를 보장한다.
• $\ell_1$-정규화 로지스틱 회귀(Madelon 및 RCV1)와 핵심-노름 정규화 허버 회귀(Movielens)에 대한 실험 결과, 정확한 변종 대비 뚜렷한 성능 향상을 보였다.
• 백트래킹을 통해 큰 스텝 사이즈를 사용함으로써 수렴 속도가 빨라지며, 특히 Pairwise FW에서 이는 적응형 스텝 사이즈 선택의 중요성을 입증한다.
• 해당 방법은 Matching Pursuit로 자연스럽게 확장되며, 근사 하위문제와 적응형 선색색을 적용한 MP에 대해 처음으로 수렴 분석을 제공한다.