[논문 리뷰] Complementary Composite Minimization, Small Gradients in General Norms, and Applications to Regression Problems.

Jelena Diakonikolas, Cristóbal Guzmán|arXiv (Cornell University)|2021. 01. 26.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 일반 노름 공간에서 목적함수가 약하게 미분가능한 항과 균일하게 볼록한 항으로 분리되는 보완 복합 최소화 문제를 위한 통합 가속 알고리즘 프레임워크를 제안한다. 이 프레임워크는 거의 최적의 수렴 속도를 달성하며, 특히 $\infty\ell_1$/$\infty\ell_\infty$ 설정에서 일반 노름에서의 기울기 최소화를 위한 거의 최적의 방법을 가능하게 하며, 유클리드 설정에서 네스테로프의 경계를 재현한다.

ABSTRACT

Composite minimization is a powerful framework in large-scale convex optimization, based on decoupling of the objective function into terms with structurally different properties and allowing for more flexible algorithmic design. In this work, we introduce a new algorithmic framework for complementary composite minimization, where the objective function decouples into a (weakly) smooth and a uniformly convex term. This particular form of decoupling is pervasive in statistics and machine learning, due to its link to regularization. The main contributions of our work are summarized as follows. First, we introduce the problem of complementary composite minimization in general normed spaces; second, we provide a unified accelerated algorithmic framework to address broad classes of complementary composite minimization problems; and third, we prove that the algorithms resulting from our framework are near-optimal in most of the standard optimization settings. Additionally, we show that our algorithmic framework can be used to address the problem of making the gradients small in general normed spaces. As a concrete example, we obtain a nearly-optimal method for the standard $\ell_1$ setup (small gradients in the $\ell_\infty$ norm), essentially matching the bound of Nesterov (2012) that was previously known only for the Euclidean setup. Finally, we show that our composite methods are broadly applicable to a number of regression problems, leading to complexity bounds that are either new or match the best existing ones.

연구 동기 및 목표

• 일반 노름 공간에서 목적함수가 약하게 미분가능한 항과 균일하게 볼록한 항으로 분리되는 보완 복합 최소화 문제를 체계화하고 연구하는 것.
• 이러한 문제의 광범위한 클래스에 대해 수렴 속도를 가속화하는 통합 알고리즘 프레임워크를 개발하는 것.
• 표준 최적화 설정 전반에 걸쳐 제안된 알고리즘의 거의 최적의 반복 복잡도 상한을 확립하는 것.
• 프레임워크를 일반 노름에서의 기울기 최소화 문제, 특히 비유클리드 설정으로 확장하는 것.
• 이 프레임워크가 복소 최적화 문제에 대해 향상된 또는 새로운 복잡도 상한을 제공하는 데 실용적으로 적용 가능한지 보여주는 것.

제안 방법

• 프레임워크는 일반 노름 공간에서 작동하며, 쌍대성과 노름 특화된 미분 가능성/강한 볼록성 성질을 활용하여 적응형 업데이트 규칙을 설계한다.
• 약한 미분 가능성과 균일한 볼록성 간의 상호작용에 맞춰진 하이브리드 모멘타와 프록시멀 단계를 기반으로 한 새로운 가속 메커니즘을 사용한다.
• 균일하게 볼록한 항과 관련된 브레그만 발산을 기반으로 한 적응형 스텝 사이즈를 사용하는 일반화된 프록시멀 점프 방법을 적용한다.
• 임의의 노름에서 쌍대 갭과 기울기 크기를 제한하기 위해 새로운 쌍대 기반 분석 기법을 도입한다.
• $\infty\ell_\infty$ 기울기 최소화 문제에서 $\infty\ell_1$ 유사한 구조를 다루기 위해 재가중 전략을 통합한다.
• 부드러움과 강한 볼록성 항을 조합한 포텐셜 함수를 통해 수렴성을 증명하며, 이는 빠른 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 일반 노름 공간에서 보완 복합 최소화 문제에 대해 통합 가속 알고리즘을 설계할 수 있는가?
• RQ2 특히 $\infty\ell_1$/$\infty\ell_\infty$ 설정에서 일반 노름에서의 기울기 최소화에 대해 최적의 반복 복잡도는 무엇인가?
• RQ3 제안된 프레임워크는 다양한 볼록 최적화 문제에서 거의 최적성을 어떻게 달성하는가?
• RQ4 이 프레임워크는 복소 최적화 문제에 대해 향상된 또는 새로운 복잡도 상한을 제공하는 데 효과적으로 적용될 수 있는가?
• RQ5 유클리드 경우를 초월해 노름 구조가 기울기의 작음을 가능하게 하는 역할은 무엇인가?

주요 결과

• 제안된 알고리즘 프레임워크는 일반 노름 공간에서 보완 복합 최소화 문제에 대해 거의 최적의 수렴 속도를 달성한다.
• $\infty\ell_\infty$ 노름에서 $\infty\ell_1$ 구조를 가진 기울기 최소화 문제에 대해, 이 방법은 이전에 유클리드 설정에서만 알려진 최적 경계에 거의 도달한다.
• 레그레션 문제의 다양한 유형, 특히 라소와 관련된 희소 회귀 모델에 대해 새로운 또는 향상된 복잡도 상한을 도출한다.
• 분석을 통해 알고리즘의 수렴 속도가 표준 설정에서 로그 인자까지 최적이 되는 것으로 입증된다.
• 노름의 선택에 대해 강건성을 보이며, 다양한 부드러움과 볼록성 영역에서 이론적 보장이 유지된다.
• 이 프레임워크는 목적함수 값과 기울기 노름을 동시에 최소화할 수 있는 알고리즘 설계를 가능하게 하며, 이는 통계 추정에 있어 핵심적이다.