[논문 리뷰] On Lower Complexity Bounds for Large-Scale Smooth Convex Optimization

Cristóbal Guzmán, Arkadi Nemirovski|arXiv (Cornell University)|2013. 07. 18.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 inf-convolution 기반의 새로운 스무딩 커널 프레임워크를 사용하여, $/ell_p$-볼과 그 행렬 유사체(스체텐 $p$-노름 볼)에 대한 대규모 부드럽고 볼록 최적화 문제에 대해 날카로운 복잡도 하한을 확립한다. 조건부 기울기 방법이 $/ell_\infty$-볼과 스펙트럼 노름 볼에 대한 부드러운 최소화 문제에서 거의 최적임을 보이며, 차원에 대한 로그 인자까지 알려진 상한과 일치함을 입증한다.

ABSTRACT

We derive lower bounds on the black-box oracle complexity of large-scale smooth convex minimization problems, with emphasis on minimizing smooth (with Holder continuous, with a given exponent and constant, gradient) convex functions over high-dimensional ||.||_p-balls, 1<=p<=\infty. Our bounds turn out to be tight (up to logarithmic in the design dimension factors), and can be viewed as a substantial extension of the existing lower complexity bounds for large-scale convex minimization covering the nonsmooth case and the 'Euclidean' smooth case (minimization of convex functions with Lipschitz continuous gradients over Euclidean balls). As a byproduct of our results, we demonstrate that the classical Conditional Gradient algorithm is near-optimal, in the sense of Information-Based Complexity Theory, when minimizing smooth convex functions over high-dimensional ||.||_\infty-balls and their matrix analogies -- spectral norm balls in the spaces of square matrices.

연구 동기 및 목표

• 고차원 $\|\cdot\|_p$-볼, $1 \leq p \leq \infty$ 에서의 대규모 부드러운 볼록 최적화 문제에 대한 정보 기반 복잡도 하한을 확립하는 것.
• 기존의 하한을 유클리드 및 비부드러운 경우를 초월하여 일반적인 부드러움 매개변수(Hölder 연속 기울기)로 확장하는 것.
• inf-convolution 기반의 스무딩 커널 기법을 사용하여 다양한 노름에 대한 하한 분석을 통합하는 것.
• $\|\cdot\|_\infty$-볼과 스펙트럼 노름 볼에 대한 부드러운 최소화 문제에서 조건부 기울기 알고리즘의 거의 최적성( near-optimality)을 입증하는 것.

제안 방법

• 부드러운 볼록 최적화 문제에 대한 어려운 사례를 생성하기 위해 inf-convolution과 스무딩 커널을 사용하는 일반적 프레임워크를 도입한다.
• 노름 공간에서의 '스무딩 성질'을 활용하며, 리프시츠 기울기를 가지며 급격히 증가하는 볼록 함수의 존재를 요구하여 inf-convolution의 부드러움을 보장한다.
• 선형 임bedding $Y = GX$ 를 통해 $\|\cdot\|_p$-볼 위의 최적화의 복잡도를 저차원 문제로 감소시키며, 목적함수와 정의역의 구조를 유지한다.
• 임베딩된 문제에 Corollary 1(최대 리스크)을 적용하여 오차에 대한 하한을 유도하고, 이를 원래 문제로 환원한다.
• 행렬의 대각선 제약 조건이 특이값 벡터 위에서 $\|\cdot\|_p$-노름을 유도하므로, 이를 행렬 스펙트럼 노름 문제로 확장할 수 있다.
• 유도된 하한이 알려진 상한(예: 네스테로프의 빠른 기울기 방법)과 차원 $n$ 에서 로그 인자까지 일치함을 입증한다.

실험 결과

연구 질문

• RQ1 고차원에서 $\|\cdot\|_p$-볼 위에서 Hölder 연속 기울기를 가지는 부드러운 볼록 함수를 최소화하는 데 필요한 정보 기반 복잡도 하한은 무엇인가?
• RQ2 기존의 조건부 기울기 알고리즘이 $\|\cdot\|_\infty$-볼과 스펙트럼 노름 볼에 대한 부드러운 최소화 문제에서 거의 최적임을 증명할 수 있는가?
• RQ3 부드러운 볼록 최적화의 복잡도는 특히 비유클리드 노름일 경우 도메인 기하학에 어떻게 의존하는가?
• RQ4 Moreau 포락선 기법은 유클리드 노름을 초월하여 비유클리드 스무딩을 지원하기 위해 어느 정도 일반화될 수 있는가?
• RQ5 유도된 하한이 행렬 케이스에 적용 가능한 범위는 무엇인가? 특히 $T \leq n$ 또는 $T \leq O(1)n$ 인 경우에 대해 어떻게 되는가?

주요 결과

• 논문은 $n$-차원 $\|\cdot\|_p$-볼 위에서의 부드러운 볼록 최소화 문제에 대해 날카로운 복잡도 하한을 확립하였으며, 차원 $n$ 에서 로그 인자까지 알려진 상한과 일치한다.
• 특히 $p = \infty$ 인 경우, 임의의 $T$-단계 국소 오라클 방법의 최악의 오차는 $\Omega\left(\frac{1}{\ln^{\kappa-1}(T+1)} \frac{L}{T^{\frac{3\kappa}{2} - 1}}\right)$ 이하로 하한이 존재한다. 여기서 $\kappa$ 는 Hölder 지수이고 $L$ 은 기울기 리프시츠 상수이다.
• 조건부 기울기 알고리즘이 $\|\cdot\|_\infty$-볼과 그 행렬 유사체(스펙트럼 노름 볼)에 대한 부드러운 최소화 문제에서 정보 기반 복잡도 측면에서 거의 최적임이 입증된다.
• 하한은 스펙트럼 $p$-노름을 통해 행렬 문제로 확장되며, $p \geq 2$ 인 경우 $T \leq n$ 이고, $1 \leq p \leq 2$ 인 경우 $T \leq O(1)n$ 이며, 여기서 $n$ 은 행렬 차원의 제곱근이다.
• 빠르게 증가하고 리프시츠 기울기를 가지는 스무딩 커널을 도입함으로써, Moreau 포락선 기법을 비유클리드 노름으로 일반화하여 부드러운 문제에 대한 어려운 사례를 구성할 수 있다.
• 결과적으로 부드럽고 비유클리드 환경에서의 1차 방법의 최적성에 대한 열린 질문을 해결하였으며, 유도된 하한을 초월해도 로그 수준의 수렴 속도 향상은 이룰 수 없다는 것을 보여준다.