[논문 리뷰] Local and Global Uniform Convexity Conditions

Thomas Kerdreux, Alexandre d’Aspremont외 1명|arXiv (Cornell University)|2021. 02. 09.

Sparse and Compressive Sensing Techniques참고 문헌 82인용 수 5

한 줄 요약

이 논문은 유한차원 최적화에서 타당 집합에 대한 국소적 및 전역적 균일 볼록성 조건을 도입하여 바나흐 공간의 기하적 성질과 일阶 방법의 수렴 분석을 연결한다. 국소적 균일 볼록성 조건이 프랭크-울프 알고리즘에서 무지식한 스텝 사이즈를 사용할 때도 가속 수렴 속도를 가능하게 하며, $p > 3$일 경우 $\mathcal{O}(1/k^{(p+1)/(p-1)})$, $p=3$일 경우 $\mathcal{O}(\log k / k^2)$, $p \in [2,3)$일 경우 $\mathcal{O}(1/k^2)$의 수렴 속도를 달성한다. 이는 부드러움 상수를 알지 못해도 가능하다.

ABSTRACT

We review various characterizations of uniform convexity and smoothness on norm balls in finite-dimensional spaces and connect results stemming from the geometry of Banach spaces with extit{scaling inequalities} used in analysing the convergence of optimization methods. In particular, we establish local versions of these conditions to provide sharper insights on a recent body of complexity results in learning theory, online learning, or offline optimization, which rely on the strong convexity of the feasible set. While they have a significant impact on complexity, these strong convexity or uniform convexity properties of feasible sets are not exploited as thoroughly as their functional counterparts, and this work is an effort to correct this imbalance. We conclude with some practical examples in optimization and machine learning where leveraging these conditions and localized assumptions lead to new complexity results.

연구 동기 및 목표

• 유한차원 공간에서 타당 집합에 대한 국소적 및 전역적 균일 볼록성 조건을 체계화하고 통합하는 것.
• 수렴 분석에서 기능적 강력 볼록성에 비해 미흡하게 활용되고 있는 집합 기반 강력 볼록성의 활용 격차를 메우는 것.
• 제약 집합의 국소적 균일 볼록성이 프로젝션 프리 방법(예: 프랭크-울프)에서 가속 수렴을 가능하게 한다는 것을 보여주는 것.
• 특히 온라인 학습 및 머신러닝에 적용할 때 국소적 곡률 가정 하에 일阶 방법의 새로운 복잡도 한계를 제공하는 것.
• 최적화 수렴 이론에서 사용되는 척도 부등식과 연결된 바나흐 공간의 기하적 성질을 연결하는 것.

제안 방법

• 하나의 하향 기울기와 노름을 포함하는 척도 부등식을 통한 국소적 균일 볼록성 조건을 제안하여 전역적 균일 볼록성을 일반화한다.
• 전역 척도 정리를 적용하여 국소 곡률 가정 하에 프랭크-울프 방법에서 반복값 간의 거리에 대한 한계를 유도한다.
• 게이지 함수를 사용하여 중심 대칭 볼록체 위에 노름 유사 구조를 정의함으로써 노름 기반 분석을 가능하게 한다.
• 고정 스텝 사이즈 $\alpha_k = 2/(k+2)$를 사용하는 Away-Step 프랭크-울프(PAFW) 알고리즘의 수렴 속도를 도출하며, 이는 부드러움 상수에 의존하지 않는다.
• 국소 강력 볼록성과 국소 균일 볼록성 간의 동치성을 확립하여 기존의 가속 영역을 국소적으로 균일 볼록인 집합으로 확장한다.
• 코시-슈와르츠 부등식과 합계 추정을 활용하여 누적 반복값 이동을 한계화하고 목적 함수 오차와 연결한다.

실험 결과

연구 질문

• RQ1 타당 집합의 국소적 균일 볼록성은 어떻게 특징지어지고, 일阶 최적화의 수렴 속도와 어떻게 연결될 수 있는가?
• RQ2 국소 곡률 가정은 프로젝션 프리 방법(예: 프랭크-울프)의 수렴에 어떤 영향을 미치는가?
• RQ3 제약 집합이 균일 볼록이지만 전역적으로 강력 볼록적이지 않을 경우, 무지식한 스텝 사이즈를 사용해도 가속 수렴 속도를 달성할 수 있는가?
• RQ4 기계 학습 및 온라인 학습의 복잡도 한계 측면에서 국소적 균일 볼록성 조건은 전역적 조건과 어떻게 비교되는가?
• RQ5 척도 부등식과 노름 쌍대체는 타당 집합의 곡률를 특징짓는 데 어떤 역할을 하는가?

주요 결과

• 논문은 제약 집합의 국소적 균일 볼록성이 고정 스텝 사이즈 $\alpha_k = 2/(k+2)$를 사용하는 Away-Step 프랭크-울프 알고리즘에서 가속 수렴을 유도함을 입증한다. 이는 부드러움 상수 $L$를 알지 못해도 가능하다.
• $p > 3$일 경우 수렴 속도는 $\mathcal{O}(1/k^{(p+1)/(p-1)})$이며, 이는 이전 연구에서 얻은 전역적 균일 볼록성 조건 하에서의 $\mathcal{O}(1/T^{1/(1-2/p)})$ 속도보다 엄밀히 빠르다.
• $p = 3$일 경우 속도는 $\mathcal{O}(\log k / k^2)$이며, $p \in [2,3)$일 경우 $\mathcal{O}(1/k^2)$이다. 후자의 경우 수렴 속도는 지수에서 $p$에 영향을 받지 않는다.
• 수렴 한계는 기울기의 쌍대 노름의 하한 $c > 0$과 균일 볼록성 매개수 $\alpha$에 의존하며, 더 강한 곡률이 더 빠른 수렴을 유도함을 보여준다.
• 분석 결과, 국소적 균일 볼록성 하에 $\|v_1 - v_2\| \leq \frac{1}{(2\alpha c)^{1/(p-1)}} \|d_1 - d_2\|^{1/(p-1)}$ 조건이 성립함을 확인하였으며, 이는 더 날카로운 반복값 이동 한계를 가능하게 한다.
• 결과적으로 국소 곡률 가정이 전역 곡률 가정과 유사한 가속 수렴 속도를 도출할 수 있음을 보여주며, 집합이 전역적으로 강력 볼록적이지 않더라도 수렴 가속화의 적용 범위를 더 넓은 타당 집합 클래스로 확장함을 시사한다.