[논문 리뷰] Convergence Analysis of the Frank-Wolfe Algorithm and Its Generalization in Banach Spaces

Hong‐Kun Xu|arXiv (Cornell University)|2017. 10. 19.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 바나흐 공간에서 프랭크-울프 알고리즘과 그 일반화에 대한 수렴 분석을 제시하며, 균일 연속적인 프리셰트 도함수 하에서 수렴을 확립하고, 새로운 순서 $ \sigma \in (1,2] $의 곡률 상수를 통해 $ \nu $-홀더 연속성 기반으로 수렴 속도 $ O(1/k^{\nu}) $ 를 도출한다. 분석은 선형 최소화 및 오픈 루프 스텝사이즈 규칙을 모두 포함하며, 이는 이전 결과를 더 넓은 함수 클래스와 일반 공간으로 확장한다.

ABSTRACT

The Frank-Wolfe algorithm, a very first optimization method and also known as the conditional gradient method, was introduced by Frank and Wolfe in 1956. Due to its simple linear subproblems, the Frank-Wolfe algorithm has recently been received much attention for solving large-scale structured optimization problems arising from many applied areas such as signal processing and machine learning. In this paper we will discuss in detail the convergence analysis of the Frank-Wolfe algorithm in Banach spaces. Two ways of the selections of the stepsizes are discussed: the line minimization search method and the open loop rule. In both cases, we prove the convergence of the Frank-Wolfe algorithm in the case where the objective function $f$ has uniformly continuous (on bounded sets) Fréchet derivative $f'$. We introduce the notion of the curvature constant of order $σ\in (1,2]$ and obtain the rate $O(\frac{1}{k^{σ-1}})$ of convergence of the Frank-Wolfe algorithm. In particular, this rate reduces to $O(\frac{1}{k^ν})$ if $f'$ is $ν$-Hölder continuous for $ν\in (0,1]$, and to $O(\frac{1}{k})$ if $f'$ is Lipschitz continuous. A generalized Frank-Wolfe algorithm is also introduced to address the problem of minimizing a composite objective function. Convergence of iterates of both Frank-Wolfe and generalized Frank-Wolfe algorithms are investigated.

연구 동기 및 목표

• 프로젝션과 쌍대 맵이 문제되는 일반 바나흐 공간으로 프랭크-울프 알고리즘의 수렴 분석을 확장하기.
• 리프시츠 연속성보다 더 약한 조건, 즉 유계 집합에서의 균일 연속성으로 프리셰트 도함수의 수렴을 확립하기.
• 홀더 연속성 기반의 프랭크-울프 및 일반화된 프랭크-울프 알고리즘에 대한 수렴 속도 유도하기.
• 순서 $ \sigma \in (1,2] $의 곡률 상수 개념을 도입하고 이를 수렴 속도를 정량화하는 데 활용하기.
• 엄격 볼록성, 균일 볼록성, 컴팩턴스 등의 다양한 볼록성 조건 하에서 반복값의 수렴 행동 조사하기.

제안 방법

• 순서 $ \sigma \in (1,2] $의 곡률 상수를 도입하여, 고차 미분 가능성의 특성을 반영하는 고전적 곡률 상수의 일반화를 수행한다.
• 두 가지 스텝사이즈 전략을 분석: 선형 최소화 탐색 및 오픈 루프 규칙으로, 둘 다 프리셰트 도함수의 균일 연속성 하에서 수렴 보장.
• 함수 감소량 $ \varphi(x_{k+1}) - \varphi^* \leq (1 - \gamma_k)(\varphi(x_k) - \varphi^*) + \frac{\gamma_k^\sigma}{\sigma} C_f^{(\sigma)} $ 을 활용한 텔레스코프 부등식 접근을 통해 속도 한계 유도.
• 레마 2.4를 활용해 재귀 수열에 대한 오차 감쇠를 $ O(1/k^{\sigma-1}) $ 로 유 bounds 하며, 이는 $ \nu $-홀더 연속성 기반으로 $ O(1/k^{\nu}) $ 로 축소된다.
• 프리셰트 도함수의 수렴 속도를 분석하기 위해 프랭크-울프 알고리즘을 복합 목적함수 $ \varphi(x) = f(x) + g(x) $ 로 일반화하며, $ f, g $ 는 볼록이고 하부 연속적이다.
• 엄격 볼록성, 균일 볼록성 또는 컴팩턴스 조건 하에서 약수렴 및 강수렴 결과를 통해 반복값의 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 프리셰트 도함수의 그라디언트가 리프시츠 연속성보다 더 약한 조건에서 바나흐 공간에서 프랭크-울프 알고리즘이 수렴할 수 있는가?
• RQ2 프리셰트 도함수가 $ \nu \in (0,1] $ 에 대해 $ \nu $-홀더 연속일 경우 프랭크-울프 알고리즘의 수렴 속도는 무엇인가?
• RQ3 순서 $ \sigma \in (1,2] $ 의 곡률 상수는 수렴 속도와 어떻게 관련되며, 이를 통해 기존 결과를 일반화할 수 있는가?
• RQ4 프랭k-울프 및 일반화된 프랭크-울프 알고리즘의 반복값이 강수렴 또는 약수렴하는 조건은 무엇인가?
• RQ5 오픈 루프 스텝사이즈 규칙이 복합 설정에서 수렴성과 속도 보장을 보장할 수 있는가?

주요 결과

• 프리셰트 도함수 $ f' $ 가 유계 집합에서 균일 연속일 경우, 바나흐 공간에서 프랭크-울프 알고리즘이 수렴한다. 이는 리프시츠 연속성보다 더 약한 조건이다.
• $ \nu $-홀더 연속성 기반으로 수렴 속도는 $ O(1/k^{\nu}) $ 이며, 이는 리프시츠 연속성 기반의 $ O(1/k) $ 를 포함한다.
• 순서 $ \sigma \in (1,2] $ 의 곡률 상수는 통합된 속도 분석을 가능하게 하며, $ f' $ 가 이 순서의 미분 가능성 조건을 만족할 경우 $ O(1/k^{\sigma-1}) $ 수렴을 도출한다.
• 오픈 루프 규칙 하에서 복합 목적함수 $ \varphi = f + g $ 에 대해 일반화된 프랭크-울프 알고리즘이 $ O(1/k^{\sigma-1}) $ 수렴 속도를 달성한다.
• 만약 $ f $ 가 엄격 볼록이면 반복값은 해로 약수렴하며, $ f $ 가 균일 볼록이거나 $ C $ 가 컴팩트하고 유한한 클러스터 포인트를 가질 경우 강수렴한다.
• 수렴 속도 $ O(1/k^{\nu}) $ 는 $ \nu $-홀더 미분 가능성 조건 하에서 일阶 방법의 알려진 하한과 일치하므로 최적임을 입증한다.