[논문 리뷰] An Affine Invariant Linear Convergence Analysis for Frank-Wolfe Algorithms

Simon Lacoste-Julien, Martin Jaggi|arXiv (Cornell University)|2013. 12. 30.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 34

한 줄 요약

이 논문은 다각형 영역 위의 강력 볼록 목표 함수에 대해 프랭크-울프 알고리즘의 away-step를 사용한 아핀 불변 선형 수렴 분석을 제시하며, 문제에 특화된 파라미터를 알 필요 없이 기하학적 수렴을 증명한다. 수렴 속도는 최적 해의 위치와는 무관하며, 도메인 기하학에만 의존한다. 이는 목표 함수가 국소적으로 강력 볼록이 아니거나 다중 최소값을 가질 경우에도 성립한다.

ABSTRACT

We study the linear convergence of variants of the Frank-Wolfe algorithms for some classes of strongly convex problems, using only affine-invariant quantities. As in Guelat & Marcotte (1986), we show the linear convergence of the standard Frank-Wolfe algorithm when the solution is in the interior of the domain, but with affine invariant constants. We also show the linear convergence of the away-steps variant of the Frank-Wolfe algorithm, but with constants which only depend on the geometry of the domain, and not any property of the location of the optimal solution. Running these algorithms does not require knowing any problem specific parameters.

연구 동기 및 목표

• 다각형 영역 위의 강력 볼록 목표 함수에 대해 away-step를 갖는 프랭크-울프 알고리즘의 선형 수렴을 확립하기.
• 문제에 특화된 파rameter나 변수 변환에 의존하지 않는 아핀 불변 수렴 분석을 개발하기.
• 최적 해의 위치에 대한 가정이나 로빈슨 조건에 의존하지 않도록 하기.
• 목표 함수가 국소적으로 강력 볼록이 아니거나 다중 전역 최소값을 가질 경우에도 선형 수렴이 가능함을 보여주기.
• 수렴 속도 상한을 도메인의 기하학적 구조에만 의존하도록 제공하기.

제안 방법

• 변수 공간의 아핀 변환에 대해 불변인 프랭크-울프 알고리즘의 아핀 불변 공식화를 사용하여, 이는 변수 공간의 아핀 변환에 대해 불변성을 보장한다.
• 최적성 갭의 감소를 기울기의 방향 내적과 연결하기 위해 식 (18)을 도입한다.
• 각 반복에서 최적의 스텝 크기를 선택하기 위해 선 탐색 전략을 사용하여 목적 함수의 충분한 감소를 보장한다.
• away-step 방향에 대해 곡률 상수 $ C_f^{ ext{A}} $ 를 정의하여 목적 함수의 이阶 미분 변화를 상한한다.
• 목적 함수 감소의 이차 상한을 최소화하여 기하학적 감소 속도를 유도하고, 최악의 경우 수렴 상수 $ ho_f^{ ext{A}} $ 를 도출한다.
• 경계 사례와 드롭 스텝 사례를 별도로 분석하여, 비최적의 스텝이라도 반복점이 여전히 기하학적 속도로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 문제에 특화된 파rameter를 알 필요 없이, 다각형 영역 위의 강력 볼록 목표 함수에 대해 away-step를 갖는 프랭크-울프 알고리즘이 선형 수렴을 달성할 수 있는가?
• RQ2 수렴 속도는 도메인 내 최적 해의 위치에 따라 달라지며, 이에 독립적인가?
• RQ3 수렴 분석을 아핀 불변으로 만들 수 있는가? 즉, 변수의 아핀 변환에 대해 수렴 행동이 유지되는가?
• RQ4 목표 함수가 국소적으로 강력 볼록이 아니거나 다중 전역 최소값을 가질 경우에도 선형 수렴이 가능한가?
• RQ5 도메인의 기하학적 성질만을 사용해 확보할 수 있는 최악의 경우 수렴 속도 상한은 무엇인가?

주요 결과

• 어느 강력 볼록 목표 함수에 대해서든 다각형 영역 위에서 away-step를 갖는 프랭크-울프 알고리즘은 선형 수렴(기하학적 수렴)을 보이며, 이 수렴 상수 $ ho_f^{ ext{A}} $ 는 도메인의 기하학에만 의존한다.
• 수렴 속도는 아핀 불변이며, 변수 공간의 아핀 변환에 영향을 받지 않는다.
• 수렴 분석은 로빈슨 조건이나 최적 해가 도메인 내부 또는 경계에 위치한다는 가정을 필요로 하지 않는다.
• 목표 함수가 다중 전역 최소값을 가지거나 국소적으로 강력 볼록이 아니더라도 선형 수렴이 성립함을 입증하였다.
• 최악의 수렴 속도 상한은 $ 1 - ho_f^{ ext{A}} $ 로 제한되며, 여기서 $ ho_f^{ ext{A}} riangleq rac{ u}{4C_f^{ ext{A}}} $ 이고, $ u $ 는 기하학적 강력 볼록성 파라미터, $ C_f^{ ext{A}} $ 는 away-step 방향의 곡률 상수이다.
• 최대 스텝 크기를 사용하는 '나쁜' 드롭 스텝의 수는 $ D_k riangleq rac{k}{2} $ 로 제한되며, 이는 이러한 스텝이 수렴 과정를 지배하지 않음을 보장한다.