[논문 리뷰] On the Global Linear Convergence of Frank-Wolfe Optimization Variants

Simon Lacoste-Julien, Martin Jaggi|arXiv (Cornell University)|2015. 11. 18.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 160

한 줄 요약

이 논문은 강한 볼록성보다 더 약한 조건 하에서 다수의 프랭크-울프 변종—이격-단계 프랭크-울프, 쌍대 프랭크-울프, 완전 보정 프랭크-울프, 월프의 최소 노름 점—에 대해 전역 선형 수렴성을 확립한다. 수렴 속도는 함수의 조건수와 다각형의 새로운 기하 조건수의 곱에 의해 결정되며, 이는 구조적 기계 학습 문제에서 더 빠르고 전역 수렴 가능한 최적화를 가능하게 한다.

ABSTRACT

The Frank-Wolfe (FW) optimization algorithm has lately re-gained popularity thanks in particular to its ability to nicely handle the structured constraints appearing in machine learning applications. However, its convergence rate is known to be slow (sublinear) when the solution lies at the boundary. A simple less-known fix is to add the possibility to take 'away steps' during optimization, an operation that importantly does not require a feasibility oracle. In this paper, we highlight and clarify several variants of the Frank-Wolfe optimization algorithm that have been successfully applied in practice: away-steps FW, pairwise FW, fully-corrective FW and Wolfe's minimum norm point algorithm, and prove for the first time that they all enjoy global linear convergence, under a weaker condition than strong convexity of the objective. The constant in the convergence rate has an elegant interpretation as the product of the (classical) condition number of the function with a novel geometric quantity that plays the role of a 'condition number' of the constraint set. We provide pointers to where these algorithms have made a difference in practice, in particular with the flow polytope, the marginal polytope and the base polytope for submodular optimization.

연구 동기 및 목표

• 실제로 사용되는 주요 프랭k-울프 변종의 수렴 행동을 명확히 하고 통합한다.
• 이격-단계 프랭크-울프, 쌍대 프랭크-울프, 완전 보정 프랭크-울프, 월프의 최소 노름 점 알고리즘에 대해 전역 선형 수렴성을 확립한다.
• 전역적으로 강한 볼록성이 아닌 조건 하에서도 선형 수렴을 보장하는 더 약한 충분조건을 규명한다.
• 해결책의 위치와 무관하게 수렴 속도를 정량화하는 다각형에 대한 새로운 기하 조건수를 도입한다.
• 수렴 속도 상수가 함수의 조건수와 다각형의 기하 조건수의 곱으로 명확히 분리됨을 보여준다.

제안 방법

• 고전적 강한 볼록성의 요구 조건을 완화하는 일반화된 기하 강한 볼록성 조건을 도입한다.
• 제약 집합의 곡률을 반영하고 수렴 속도에 영향을 주는 새로운 기하 양, 다각형 조건수를 정의한다.
• 네 가지 프랭크-울프 변종(AFW, PFW, FCFW, MNP)에 대해 선형 수렴을 증명하기 위한 통합 분석 프레임워크를 사용한다.
• 서브옵티멀리티 오차가 프랭크-울프 갭의 제곱에 일반화된 강한 볼록성 상수로 스케일링된 값으로 유계임을 보이는 갭 기반 분석을 활용한다.
• 고전적 강한 볼록성 상수 μ를 활성 집합의 기하학적 특성과 해의 상대적 위치에 따라 의존하는 일반화된 버전 ˜μ_f로 대체한다.
• 수렴 속도가 애핀 불변이며 최적 해가 다각형의 경계에 위치하더라도 열악해지지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 이격-단계 및 기타 프랭크-울프 변종은 강한 볼록성보다 더 약한 조건 하에서도 전역 선형 수렴을 달성할 수 있는가?
• RQ2 제약 집합의 어떤 기하적 성질이 프랭크-울프 변종의 선형 수렴 속도를 결정하는가?
• RQ3 최적 해가 다각형 내부의 위치에 따라 수렴 속도는 어떻게 달라지는가?
• RQ4 완전 보정 및 최소 노름 점 방법을 포함한 여러 프랭크-울프 변종의 수렴 분석을 통합할 수 있는 단일 이론적 프레임워크가 존재하는가?
• RQ5 다각형에 대해 함수의 조건수와 유사한 역할을 하는 조건수는 존재하는가?

주요 결과

• 이격-단계 프랭크-울프, 쌍대 프랭크-울프, 완전 보정 프랭크-울프, 월프의 최소 노름 점 알고리즘은 일반화된 기하 강한 볼록성 조건 하에서 전역 선형 수렴성을 달성한다.
• 선형 수렴 속도는 함수의 조건수와 다각형의 새로운 기하 조건수의 곱에 의해 결정되며, 이는 타당 집합의 곡률을 반영한다.
• 최적 해가 다각형의 경계에 위치하더라도 수렴 상수가 0에서 멀리 떨어져 있음을 유지한다. 이는 이전 결과가 상대 경계에 가까워질수록 열악해지는 것과는 대조된다.
• 일반화된 강한 볼록성 조건 ˜μ_f > 0은 로빈슨 조건보다 엄밀히 더 약하며, 엄밀히 볼록이 아니거나 다중 전역 최소값을 가진 함수에 대해서도 선형 수렴을 허용한다.
• 수렴 속도는 애핀 불변이며, 강한 볼록성 상수나 리프시츠 상수와 같은 문제 전용 매개변수의 사전 지식이 필요하지 않다.
• 서브옵티멀리티 오차에 대한 날카운 경계를 제공한다: h_t ≤ g_t² / (2˜μ_f), 이는 고전적 경우와 유사하지만 ˜μ_f가 표준 μ_f^A로 대체된다.