[논문 리뷰] Faster Rates for the Frank-Wolfe Method over Strongly-Convex Sets

Dan Garber, Elad Hazan|arXiv (Cornell University)|2014. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 99

한 줄 요약

이 논문은 강한 볼록 집합 위에서 최적화할 경우 프랭크-울프 방법이 표준 $O(1/t)$ 속도보다 빠른 수렴 속도인 $O(1/t^2)$를 달성함을 입증한다. 이 방법은 여전히 투영을 필요로 하지 않으며, $\ell_p$, 슈바르츠, 그룹 노름과 같은 노름에 대해 선형 최적화를 닫힌 형태로 수행할 수 있으며, 이러한 노름들이 강한 볼록성을 유지하면서도 계산 효율성을 그대로 유지함을 보여준다.

ABSTRACT

The Frank-Wolfe method (a.k.a. conditional gradient algorithm) for smooth optimization has regained much interest in recent years in the context of large scale optimization and machine learning. A key advantage of the method is that it avoids projections - the computational bottleneck in many applications - replacing it by a linear optimization step. Despite this advantage, the known convergence rates of the FW method fall behind standard first order methods for most settings of interest. It is an active line of research to derive faster linear optimization-based algorithms for various settings of convex optimization. In this paper we consider the special case of optimization over strongly convex sets, for which we prove that the vanila FW method converges at a rate of $\frac{1}{t^2}$. This gives a quadratic improvement in convergence rate compared to the general case, in which convergence is of the order $\frac{1}{t}$, and known to be tight. We show that various balls induced by $\ell_p$ norms, Schatten norms and group norms are strongly convex on one hand and on the other hand, linear optimization over these sets is straightforward and admits a closed-form solution. We further show how several previous fast-rate results for the FW method follow easily from our analysis.

연구 동기 및 목표

• 프랭크-울프 알고리즘의 수렴 속도를 높여, 투영이 없는 방법과 최적의 일阶 방법 간 격차를 메우는 것.
• 일반적인 정규화 노름(예: $\ell_p$, 슈바르츠, 그룹 노름)에 의해 유도되는 볼록 집합 중 강한 볼록성을 가지는 것을 식별하고 특성화하는 것.
• 이러한 집합 위에서의 선형 최적화가 닫힌 형태의 해를 통해 여전히 계산 가능함을 보여주는 것.
• 단일 이론적 프레임워크를 통해 이전의 빠른 수렴 결과를 통합하고 일반화하는 것.
• 강한 볼록성을 가진 가능 영역 조건 하에서 $O(1/t^2)$보다 더 빠른 수렴 속도가 달성 가능한지 탐색하는 것.

제안 방법

• 이론적 분석을 통해 타깃 함수가 매끄럽고 볼록할 조건 하에서, 가능 영역이 강한 볼록일 경우 프랭크-울프의 기본 알고리즘이 $O(1/t^2)$ 수렴 속도를 보임을 증명한다.
• 노름에 대해 집합의 강한 볼록성의 개념을 도입하고, 이는 비슷한 곡률 파라미터를 통해 정의된다.
• $\ell_p$ 구($p \in (1,2]$), 슈바르츠 $p$-노름 구, $\ell_{s,p}$ 그룹 노름 구에 대해 명시적인 강한 볼록성 파라미터를 유도한다.
• 각 노름 유형에 대해, 특이값 또는 행 단위 소프트 스레시홀딩을 사용해 SVD를 통해 닫힌 형태의 해를 얻을 수 있음을 증명한다.
• 분석은 쌍대성과 노름 성질에 기반하며, 특히 헬더 부등식과 쌍대 지수 간의 관계를 활용한다.
• 기존의 프랭크-울프 변형(예: 어웨이 스텝 포함)에 대한 알려진 빠른 수렴 결과들이 주 수렴 정리의 따름정리로 유도됨을 보여준다.

실험 결과

연구 질문

• RQ1 가능 영역이 강한 볼록일 경우, 추가 알고리즘 수정 없이도 기본 프랭크-울프 방법이 $O(1/t^2)$ 수렴 속도를 달성할 수 있는가?
• RQ2 머신 러닝에서 흔히 사용되는 정규화 노름 중에서, 강한 볼록성을 유지하면서도 효율적인 선형 최적화를 보장하는 것은 무엇인가?
• RQ3 목적 함수의 강한 볼록성이 필요 없이도 $O(1/t^2)$ 수렴 속도를 달성할 수 있는가?
• RQ4 기존의 프랭크-울프 변형(예: 어웨이 스텝 포함)에 대한 빠른 수렴 결과들이 집합의 강한 볼록성에 기반한 통합 분석에서 유도되는가?
• RQ5 강한 볼록 집합 위에서 프랭크-울프 방법이 로그 수렴 속도($O(\log(1/\epsilon))$)를 달성할 수 있는가, 이는 투영된 경사 하강법과 동일한 성능을 내는가?

주요 결과

• 가능 영역이 강한 볼록일 경우 프랭크-울프 방법이 $O(1/t^2)$ 수렴 속도를 달성하며, 이는 표준 $O(1/t)$ 속도 대비 제곱 수준의 향상이다.
• $\ell_p$ 구($p \in (1,2]$)는 $\|\cdot\|_{S(p)}$ 노름에 대해 $\frac{p-1}{r}$-강한 볼록이며, 프로베니우스 노름에 대해 $\frac{(p-1)\min(m,n)^{1/2 - 1/p}}{r}$-강한 볼록이다.
• 슈바르츠 $p$-노름 구 $\mathbb{B}_{S(p)}(r)$는 슈바르츠 노름과 프로베니우스 노름에 대해 모두 강한 볼록이며, SVD와 특이값에 대한 소프트 스레시홀딩을 통해 선형 최적화가 닫힌 형태로 가능하다.
• $\ell_{s,p}$ 그룹 노름 구 $\mathbb{B}_{s,p}(r)$는 $\|\cdot\|_{s,p}$ 노름에 대해 $\frac{(s-1)(p-1)}{(s+p-2)r}$-강한 볼록이며, 프로베니우스 노름에 대해 $n^{1/s - 1/2}m^{1/p - 1/2}\frac{(s-1)(p-1)}{(s+p-2)r}$-강한 볼록이다.
• 이 집합 위에서의 선형 최적화는 닫힌 형태로 계산 가능하다: 슈바르츠 노름의 경우 SVD와 특이값에 대한 소프트 스레시홀딩을 통해, 그룹 노름의 경우 행 단위 스레시홀딩을 통해.
• 이론적 결과는 이전의 빠른 수렴 결과를 통합하고 일반화하며, 이들이 집합의 강한 볼록성 조건 하에서 주 수렴 정리의 특수한 경우임을 보여준다.