[논문 리뷰] Boosting Frank-Wolfe by Chasing Gradients

Cyrille W. Combettes, Sebastian Pokutta|arXiv (Cornell University)|2020. 03. 13.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 프로젝션 프리 알고리즘인 Boosted Frank-Wolfe(BoostFW)를 제안한다. 이 알고리즘은 음의 기울기 방향을 추적하는 매칭 푸르스터일 스타일의 서브루틴을 사용하여 프랭크-울프 방법의 수렴 속도를 가속화하며, 내림내림 방향의 정렬을 향상시킨다. 이 방법은 O(1/t)에서 O(e^{-ωt})까지의 수렴 속도를 달성하며, 라인 서치나 반복값 분해를 요구하지 않음에도 불구하고 최신 기술 대비 반복당 성능과 CPU 시간에서 뛰어난 성능을 보인다.

ABSTRACT

The Frank-Wolfe algorithm has become a popular first-order optimization algorithm for it is simple and projection-free, and it has been successfully applied to a variety of real-world problems. Its main drawback however lies in its convergence rate, which can be excessively slow due to naive descent directions. We propose to speed up the Frank-Wolfe algorithm by better aligning the descent direction with that of the negative gradient via a subroutine. This subroutine chases the negative gradient direction in a matching pursuit-style while still preserving the projection-free property. Although the approach is reasonably natural, it produces very significant results. We derive convergence rates $\mathcal{O}(1/t)$ to $\mathcal{O}(e^{-ωt})$ of our method and we demonstrate its competitive advantage both per iteration and in CPU time over the state-of-the-art in a series of computational experiments.

연구 동기 및 목표

• 프랭크-울프 알고리즘의 느린 수렴을 개선하기 위해 내림내림 방향이 최적화되지 않은 문제를 해결하기 위해.
• 프로젝션 계산이 비용이 많이 드는 환경에서 필수적인 프로젝션 프리 성질을 유지하면서도 수렴 속도를 향상시키기 위해.
• 계산 효율성을 희생시키지 않은 채 내림내림 방향을 음의 기울기와 더 잘 정렬시키기 위해.
• 최신 기술 대비 반복당 진전 정도와 총 CPU 시간에서 경쟁 가능한 성능을 보여주기 위해.
• 유사한 가정 조건 하에 하향 수렴에서 선형 수렴까지의 이론적 수렴 보장을 제공하기 위해.

제안 방법

• 알고리즘은 기울기 추적 서브루틴을 도입하여, 내림내림 방향을 반복적으로 정밀화하여 음의 기울기와의 정렬을 향상시킨다.
• 각 반복마다 제약집합 위에서 다수의 선형 최소화를 수행하여 -∇f(xₜ)에 더 가까운 방향을 구성함으로써 기울기 강하와 유사한 동작을 수행한다.
• 최종 단계에서는 목적함수를 최소화할 수 있도록 스텝 크기를 선택한 볼록 조합을 사용하여 탇합성을 유지하며 프로젝션 없이 진행한다.
• 라인 서치나 명시적인 반복값 분해를 필요로 하지 않아 구현이 간소화되고 오버헤드가 감소한다.
• 표준 가정 하에 이론적 수렴 속도를 도출한다: f는 L-스무쓰하고 볼록이며, 제약집합 C는 컴act하고 볼록하다.
• 이 방법은 일반적이며, 프랭크-울프 스타일 알고리즘을 가속화하는 데 적용 가능하다.

실험 결과

연구 질문

• RQ1 프랭크-울프 알고리즘은 내림내림 방향을 음의 기울기와 더 잘 정렬함으로써 수렴 속도를 향상시킬 수 있는가?
• RQ2 기울기 방향을 추적하는 프로젝션 프리 방법은 표준 프랭크-울프보다 더 빠른 수렴을 달성하는가?
• RQ3 이러한 수정된 프랭크-울프 방법에 대해 어떤 이론적 수렴 속도를 보장할 수 있는가?
• RQ4 실제 적용에서 최신 기술 대비 반복 수와 CPU 시간 측면에서 성능은 어떠한가?
• RQ5 라인 서치나 반복값 분해를 유지하지 않으면서도 선형 수렴을 달성할 수 있는가?

주요 결과

• BoostFW는 문제의 구조와 가정 조건에 따라 O(1/t)에서 O(e^{-ωt})까지의 수렴 속도를 달성한다.
• 계산 실험에서 최신 기술 대비 반복당 진전 정도와 총 CPU 시간에서 뚜렷한 향상을 보였다.
• 라인 서치나 반복값의 명시적 분해가 필요 없어 구현이 단순화되고 계산 오버헤드가 감소한다.
• 이론적 분석 결과, 기울기 지배성과 강한 볼록성 가정 하에, 솔루션의 희소성과 기하학적 특성에 따라 지수 수렴을 달성함을 확인하였다.
• ε-수렴을 위한 선형 최소화 오라클의 수는 최악의 경우 O(LD²/ε)이며, 충분한 내림내림 단계가 있는 실용적 상황에서는 O((1/ωδ²)(L/μ)ln(1/ε))^{1/p}이다.
• 실험 결과, 고차원 또는 희소한 환경에서 기존 방법 대비 반복 수와 월클럭 타임 모두에서 BoostFW가 뛰어난 성능을 보였다.