[논문 리뷰] Projection-Free Optimization on Uniformly Convex Sets

Thomas Kerdreux, Alexandre d’Aspremont외 1명|arXiv (Cornell University)|2020. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 74인용 수 11

한 줄 요약

이 논문은 균일하게 볼록인 제약 집합에서 프랭크-울프 알고리즘이 가속된 수렴 속도를 달성함을 입증한다. 이 제약 집합은 강력한 볼록 집합을 일반화하며, p>1인 ℓp-구를 포함한다. 핵심 기여는 곡률(균일한 볼록성에 의해 측정됨)이 빠른 수렴을 이끄는 핵심 요소임을 보여주며, 강력한 볼록성 외에도 수렴 속도가 집합의 기하학적 구조에 따라 알려진 비선형 및 선형 수렴 속도 사이를 보간함을 밝힌다.

ABSTRACT

The Frank-Wolfe method solves smooth constrained convex optimization problems at a generic sublinear rate of $\mathcal{O}(1/T)$, and it (or its variants) enjoys accelerated convergence rates for two fundamental classes of constraints: polytopes and strongly-convex sets. Uniformly convex sets non-trivially subsume strongly convex sets and form a large variety of extit{curved} convex sets commonly encountered in machine learning and signal processing. For instance, the $\ell_p$-balls are uniformly convex for all $p > 1$, but strongly convex for $p\in]1,2]$ only. We show that these sets systematically induce accelerated convergence rates for the original Frank-Wolfe algorithm, which continuously interpolate between known rates. Our accelerated convergence rates emphasize that it is the curvature of the constraint sets -- not just their strong convexity -- that leads to accelerated convergence rates. These results also importantly highlight that the Frank-Wolfe algorithm is adaptive to much more generic constraint set structures, thus explaining faster empirical convergence. Finally, we also show accelerated convergence rates when the set is only locally uniformly convex and provide similar results in online linear optimization.

연구 동기 및 목표

• 프랭크-울프 알고리즘이 실무에서 ℓp-구와 같은 곡률이 있는 제약 집합에서 O(1/T)보다 더 빠르게 수렴하는 이유를 이해하기 위해.
• 기존의 수렴 속도를 강력한 볼록 집합을 넘어서 더 넓은 균일하게 볼록 집합의 범주로 확장하기 위해.
• 함수의 강력한 볼록성과는 독립적으로 곡률이 수렴 가속에 기여하는 방식을 체계화하기 위해.
• 국소적 균일한 볼록성과 그 비전역 설정에서의 수렴 속도에 미치는 영향을 분석하기 위해.
• 균일하게 볼록 제약 조건 하에서 온라인 선형 최적화 설정으로 가속된 수렴 결과를 확장하기 위해.

제안 방법

• 제약 집합에 대해 일반화된 균일한 볼록성의 개념을 도입하며, 이는 함수 γC(r) ≥ αr^q (q > 0)로 정의된다.
• 균일한 볼록성 가정 하에 정확한 선형 탐색과 짧은 스텝 크기를 사용한 프랭크-울프 알고리즘을 분석한다.
• 균일한 볼록성 매개수 q에 따라 알려진 비선형 수렴 속도와 선형 수렴 속도 사이를 보간하는 수렴 속도를 유도한다.
• (α,q)-균일하게 볼록인 집합에서는 적절한 스텝 크기 규칙 하에 프랭크-울프 갭이 O(1/T^q)로 감소함을 증명한다.
• 최적해가 경계의 곡률이 높은 영역에 위치할 경우 국소적 스케일링 부등식을 사용해 수렴 가속을 정량화한다.
• 같은 곡률 기반 분석 프레임워크를 활용해 결과를 온라인 선형 최적화로 확장한다.

실험 결과

연구 질문

• RQ1 제약 집합의 균일한 볼록성이 다각형과 강력한 볼록 집합 외의 경우에도 프랭크-울프 알고리즘의 수렴을 가속화하는가?
• RQ2 함수 f가 강력한 볼록성이 없더라도 제약 집합의 곡률을 활용해 프랭크-울프의 수렴 속도를 향상시킬 수 있는가?
• RQ3 수렴 속도가 제약 집합의 국소 기하학, 특히 곡률이 변하는 경계 근처에서 어떻게 달라지는가?
• RQ4 실제로 ℓp-구(예: p>2)에서 관측된 가속된 수렴이 균일한 볼록성에 의해 이론적으로 설명될 수 있는가?
• RQ5 균일한 볼록성 가정 하에 온라인 선형 최적화 설정에서도 유사한 가속된 수렴 속도가 유지되는가?

주요 결과

• 균일하게 볼록인 (α,q)-집합에서 프랭크-울프 알고리즘은 q > 0이 곡률을 측정하는 데 사용되며, O(1/T^q)의 수렴 속도를 달성한다. 이는 비선형 수렴과 선형 수렴 사이를 보간한다.
• p>1인 ℓp-구는 균일하게 볼록하지만 p>2일 경우 강력한 볼록성이 아니므로, p에 따라 가속된 수렴 속도를 달성하며, 곡률이 높은 경계 근처에서 더 빠른 수렴을 보인다.
• 최적해 x*가 경계의 곡률이 높은 영역(예: ℓp-구에서 ∑e_i 근처)에 위치할 경우, f의 강력한 볼록성이 없더라도 p가 2에 가까워지면 수렴이 선형이 된다.
• 경계의 평탄한 영역(예: e1 근처)에서는 p가 2에 가까워지지 않는 한 수렴은 여전히 비선형이므로 국소 곡률의 역할이 드러난다.
• 정규 선형 탐색(1/(k+1))은 가속된 수렴을 달성하지 못하지만, 짧은 스텝 크기와 정확한 선형 탐색은 균일한 볼록성 하에서 O(1/T^q) 수렴 속도를 가능하게 한다.
• 결과는 온라인 선형 최적화로도 확장되며, 국소적으로 균일하게 볼록인 집합 역시 온라인 환경에서 가속된 수렴을 유도함을 보여준다.