[논문 리뷰] Primal-dual subgradient methods for minimizing uniformly convex functions

Anatoli B. Juditsky, Yuri Nesterov|arXiv (Cornell University)|2014. 01. 08.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 59

한 줄 요약

이 논문은 비유클리드 설정에서 균일하게 볼록인 함수를 최소화하기 위해 원시-이중 서브그래디언트 방법을 개발하며, 반복 횟수의 로그 인자까지 최선으로 알려진 경계에 맞는 최소최대 최적 수렴 속도를 달성한다. 이 방법은 알려지지 않은 강한 또는 균일한 볼록성 매개변수에 자동으로 적응하여, 목적 함수의 곡률 성질에 대한 사전 지식 없이도 최적 성능을 보장한다.

ABSTRACT

We discuss non-Euclidean deterministic and stochastic algorithms for optimization problems with strongly and uniformly convex objectives. We provide accuracy bounds for the performance of these algorithms and design methods which are adaptive with respect to the parameters of strong or uniform convexity of the objective: in the case when the total number of iterations $N$ is fixed, their accuracy coincides, up to a logarithmic in $N$ factor with the accuracy of optimal algorithms.

연구 동기 및 목표

• 대규모 비유클리드 최적화 문제에 대해 균일하게 볼록한 목적 함수를 다루는 결정론적 및 확률적 1차 알고리즘을 설계하는 것.
• 균일하게 볼록 함수에 대해 최소최대 최적 수렴 속도를 달성하여, 반복 횟수의 로그 인자까지 알려진 하한선과 일치시키는 것.
• 목적 함수의 강한 또는 균일한 볼록성 매개변수를 사전에 알지 못해도 되는 적응형 방법을 개발하는 것.
• 강한 볼록성에서부터 일반적인 볼록성 매개변수 $\rho \in [2, \infty)$를 갖는 균일하게 볼록한 설정으로까지 비유클리드 1차 방법을 확장하는 것.
• 특히 단체형 및 초입방체 제약 집합에 대해 원시-이중 프레임워크에서 발생하는 프록시멀 하위문제를 효율적으로 해결하는 방법을 제공하는 것.

제안 방법

• 이 방법은 비유클리드 프록시멀 설정 기반의 원시-이중 서브그래디언트 프레임워크를 사용하며, 거리 생성 함수 $d(x)$ 와 Bregman 발산을 이용해 프록시멀 항을 정의한다.
• 연결된 제약 조건을 라그랑주 이론을 통해 이중화하여 하위문제 (11)의 이중 형식을 도입함으로써, 독립적인 2차원 하위문제로 분해할 수 있도록 한다.
• 표준 단체형과 초입방체의 경우, 이중 문제는 각 하위문제를 선형 제약 조건 하에 $su + tv + u\ln u + v\ln v$ 형태의 함수 최소화로 감소시켜 해결한다.
• 각 2차원 하위문제의 해는 등식 제약 조건을 만족하는 최적화 조건을 충족하는지 확인함으로써 계산되며, 그렇지 않으면 경계 제약 조건이 활성화되어 해당 조건에 따라 해를 설정한다.
• 알려지지 않은 볼록성 매개변수 $\rho$와 $\mu$에 적응하기 위해 자기 적응형 스텝 사이즈 규칙을 사용하여 조정 없이도 수렴을 보장한다.
• 이 방법은 $O\left(\mu^{-2/\rho} \epsilon^{-(2(\rho-1)/\rho)}\right)$ 수준의 수렴 속도를 달성하며, 알려진 하한선과 로그 인자까지 일치한다.

실험 결과

연구 질문

• RQ1 비유클리드 공간에서 균일하게 볼록인 함수에 대해 원시-이중 서브그래디언트 방법이 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ2 이러한 방법은 알려지지 않은 강한 또는 균일한 볼록성 매개변수 $\mu$와 $\rho$에 대해 어떻게 적응할 수 있는가?
• RQ3 표준 제약 집합인 단체형과 초입방체에 대해 원시-이중 프레임워크에서 발생하는 프록시멀 하위문제의 계산 복잡도는 어떻게 되는가?
• RQ4 균일하게 볼록 문제에 대한 1차 방법의 수렴 속도는 일반 볼록 함수의 표준 $O(\epsilon^{-2})$ 경계를 초월할 수 있는가?
• RQ5 조건 수나 수렴 속도 측면에서 비유클리드 프레임워크는 유럽기하학적 프레임워크에 비해 어떤 조건에서 우월한가?

주요 결과

• 제안된 원시-이중 서브그래디언트 방법은 매개변수 $\rho \in [2, \infty)$ 및 $\mu \geq 0$를 갖는 균일하게 볼록한 함수에 대해 $O\left(\mu^{-2/\rho} \epsilon^{-(2(\rho-1)/\ho)}\right)$ 수준의 수렴 속도를 달성하며, 알려진 하한선과 로그 인자까지 일치한다.
• 이 방법은 적응형이다: 볼록성 매개변수 $\mu$와 $\rho$에 대한 사전 지식 없이도 최적 성능을 달성하므로, 블랙박스 최적화에 적합하다.
• 표준 단체형과 초입방체 제약 집합에 대해, 프록시멀 하위문제는 닫힌 형태의 해 또는 단순한 근 찾기 절차로 감소된 2차원 최적화 문제로 효율적으로 해결할 수 있다.
• 조건 수 $\lambda = \mathcal{L}(f)/\mu(f)$ 가 클 경우에도 이 방법은 비유클리드 설정에서 최적성을 유지하지만, 유클리드 방법은 이러한 조건에서 성능이 떨어질 수 있다.
• 분석을 통해 이 방법의 최악의 복잡도가 최소최대 이론의 관점에서 최적이며, 주어진 문제 클래스에 대해 더 빠른 수렴 속도는 불가능하다는 것이 확인된다.
• 기존의 강한 볼록성(즉, $\rho=2$) 및 부드러운 균일하게 볼록한 문제에 대한 연구를 일반적인 균일하게 볼록한 경우($\rho \geq 2$)로 확장한다.