[논문 리뷰] Convergence Rate of Frank-Wolfe for Non-Convex Objectives

Simon Lacoste-Julien|arXiv (Cornell University)|2016. 07. 01.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 103

한 줄 요약

본 논문은 Frank-Wolfe 알고리즘이 Lipschitz gradient를 갖는 비볼록 목표에서 O(1/√t) 속도로 정지점에 도달함을, 아핀-불변 분석을 이용해 보인다.

ABSTRACT

We give a simple proof that the Frank-Wolfe algorithm obtains a stationary point at a rate of $O(1/\sqrt{t})$ on non-convex objectives with a Lipschitz continuous gradient. Our analysis is affine invariant and is the first, to the best of our knowledge, giving a similar rate to what was already proven for projected gradient methods (though on slightly different measures of stationarity).

연구 동기 및 목표

• 볼록하고 컴팩트한 정의역 위에서 비볼록 목표에 대해 Frank-Wolfe를 동기 부여하고 분석한다.
• Lipschitz gradient 가정 아래 아핀-불변 수렴 속도를 정지점까지 확립한다.
• 투영 그래디언트 방법에서 알려진 속도에 상응하는 상한을 제시한다.
• FW gap이 어떻게 의미 있고 아핀-불변의 정지성 척도로 작용하는지 명확히 한다.

제안 방법

• FW gap g_t를 g_t = max_{s in M} <s - x^{(t)}, -∇f(x^{(t)})>로 정의하고 이를 정지성 척도로 사용한다.
• 곡률 상수 C_f와 line-search 또는 아핀-불변 이차 상한(step)을 이용한 감소 부등식을 보이고, 이것이 f(x^{(t+1)})에 대한 상한으로 이어진다.
• 속도: min_{0≤k≤t} g_k ≤ max{2h_0, C_f} / √(t+1) 를 도출하고, h_0 = f(x^{(0)}) - min_{x in M} f(x)로 두었다.
• f가 Lipschitz gradient 가정에서 유도되는 유한한 곡률 상수 C_f를 가지며, 이는 컴팩트 볼록 도메인 M에 대해 성립한다.
• 현재의 FW gap과 반복당 진행 간의 관계를 아핀-불변의 하강 보조정리(descent lemma)를 이용해 도출한다.
• 이 상한의 함의와 정지점 수렴과의 관련성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 Lipschitz gradient를 갖는 비볼록 목표에 Frank-Wolfe를 적용했을 때 수렴 속도는 무엇인가?
• RQ2 비볼록 문제에 대해 아핀-불변 분석이 투영 그래디언트 방법과 비교할 만한 속도를 제공할 수 있는가?
• RQ3 제약된 비볼록 설정에서 Frank-Wolfe gap이 정지성의 척도로서 어떻게 작용하는가?
• RQ4 어떤 조건에서(C_f의 유한한 곡률 상수 조건) FW에 대해 O(1/√t) 속도를 보장할 수 있는가?
• RQ5 line-search와 고정 스텝 variation가 속도 달성에 있어 어떻게 비교되는가?

주요 결과

• t번의 반복 후에 만난 최소 FW gap은 O(1/√t)이다.
• 구체적 상한: min_{0≤k≤t} g_k ≤ max{2h_0, C} / √(t+1).
• 결과는 Lipschitz gradient를 갖고 컴팩트 볼록 도메인 M 위에서 유한한 곡률 상수 C_f를 갖는 비볼록 f에 적용된다.
• 목적이 M의 부분집합에서 볼록하면, FW gap은 해당 부분집합에서의 하위 최적성의 상한을 제공한다.
• 해당 속도는 아핀-불변 프레임워크 내에서 투사 그래디언트 방법에서 관찰되는 O(1/√t)와 같은 차수를 보인다.