[논문 리뷰] "Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent

Haihao Lu|arXiv (Cornell University)|2017. 10. 12.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 14

한 줄 요약

이 논문은 사용자가 정의한 기준 함수 h에 상대적인 '상대적 연속성'—비리프시츠, 비스무스한 볼록 최적화 문제에 적용 가능한 일반화된 부드러움 조건—을 도입하여 미러 디센트의 수렴 보장을 가능하게 한다. 이 조건 하에서 결정론적 및 스토하스틱 미러 디센트에 대한 계산 복잡도 한계를 확립하여, 표준 1차 방법 프레임워크 외부에 있는 어려운 문제들, 예를 들어 SVM과 타원체 교차 문제를 해결할 수 있게 한다.

ABSTRACT

The usual approach to developing and analyzing first-order methods for non-smooth (stochastic or deterministic) convex optimization assumes that the objective function is uniformly Lipschitz continuous with parameter $M_f$. However, in many settings the non-differentiable convex function $f(\cdot)$ is not uniformly Lipschitz continuous -- for example (i) the classical support vector machine (SVM) problem, (ii) the problem of minimizing the maximum of convex quadratic functions, and even (iii) the univariate setting with $f(x) := \max\{0, x\} + x^2$. Herein we develop a notion of "relative continuity" that is determined relative to a user-specified "reference function" $h(\cdot)$ (that should be computationally tractable for algorithms), and we show that many non-differentiable convex functions are relatively continuous with respect to a correspondingly fairly-simple reference function $h(\cdot)$. We also similarly develop a notion of "relative stochastic continuity" for the stochastic setting. We analysis two standard algorithms -- the (deterministic) mirror descent algorithm and the stochastic mirror descent algorithm -- for solving optimization problems in these two new settings, and we develop for the first time computational guarantees for instances where the objective function is not uniformly Lipschitz continuous. This paper is a companion paper for non-differentiable convex optimization to the recent paper by Lu, Freund, and Nesterov, which developed similar sorts of results for differentiable convex optimization.

연구 동기 및 목표

• 일반적인 1차 방법이 요구하는 균일 리프시츠 연속성 조건이 많은 비스무스한 볼록 문제에서 실패하는 데 기인한 한계를 해결한다.
• SVM과 타원체 교차 문제와 같은 문제들에 대해 전통적인 서브기울기 및 기울기 방법이 계산 보장을 제공하지 못하는 문제를 해결한다.
• 계산적으로 다루기 쉬운 기준 함수 h에 상대적인 일반화된 부드러움 조건을 제안하는 새로운 이론적 프레임워크인 '상대적 연속성'을 개발한다.
• 기본 부드러움 가정을 완화시켜 비리프시츠, 비스무스한 볼록 최적화 문제에 대해 미러 디센트 알고리즘의 적용 가능성을 확장한다.
• 목적 함수가 균일 리프시츠 연속적이지 않은 설정에서 결정론적 및 스토하스틱 미러 디센트에 대한 최초의 계산 복잡도 보장을 제공한다.

제안 방법

• 기준 함수 h에 대해 볼록 함수 f의 '상대적 연속성'을 정의하며, 이는 f의 서브기울기 노름이 h의 서브기울기 노름에 대한 다항식으로 유계임을 의미한다.
• 스토하스틱 설정을 위해 '상대적 스토하스틱 연속성'을 도입하여 프레임워크를 노이즈가 있는 또는 샘플된 기울기로 확장한다.
• 기준 함수 h에 기반한 브레그만 발산을 사용한 미러 디센트 알고리즘을 적용하며, 상대적 연속성 매개변수에 맞춰 적응형 스텝 사이즈를 조정한다.
• 브레그만 발산과 상대적 연속성 매개변수를 이용해 반복의 진전을 유계로 둘 수 있는 새로운 복잡도 분석을 통해 계산 보장을 유도한다.
• 특정 문제들(예: SVM, 타원체 교차)에 대해 스펙트럼 노름과 x의 노름에 대한 2차 및 선형 항을 사용해 기준 함수 h(x)를 명시적으로 구성한다.
• 단스킨 정리와 KKT 조건을 활용해 비스무스한, 비리프시츠한 목적 함수의 서브기울기 노름을 유계로 둘 수 있으며, 상대적 연속성의 검증이 가능하다.

실험 결과

연구 질문

• RQ1 비리프시츠, 비스무스한 볼록 함수에 적용 가능한 일반화된 부드러움 조건을 개발할 수 있는가? 이는 1차 방법의 수렴 분석을 가능하게 한다.
• RQ2 목적 함수가 균일 리프시츠 연속적이지 않은 최적화 문제에서 미러 디센트가 수렴 보장을 받을 수 있는가?
• RQ3 주어진 비스무스한, 비리프시츠한 볼록 함수 f가 상대적으로 연속적이게 되는 기준 함수 h를 어떻게 구성할 수 있는가?
• RQ4 상대적 연속성 하에서 결정론적 및 스토하스틱 미러 디센트에 대해 유도할 수 있는 계산 복잡도 한계는 무엇인가?
• RQ5 제안된 프레임워크는 전통적인 1차 방법의 범위를 벗어난 실제 문제들, 예를 들어 SVM과 타원체 교차 문제에 적용 가능한가?

주요 결과

• 타원체 교차 문제(Implicit Ellipsoid Problem, IEP)의 목적 함수는 기준 함수 $ h(x) = \frac{\tau}{4}\norm{x}_2^4 + \frac{\rho}{3}\norm{x}_2^3 + \frac{\rho}{2}\norm{x}_2^2 $ 에 대해 1-연속적이다. 여기서 $ \tau, \rho, \rho $ 는 문제의 행렬 및 벡터 매개변수로부터 유도된다.
• IEP의 경우, 일정 스텝 사이즈 $ t_i = \tilde{\tau} $ 를 사용하는 결정론적 미러 디센트는 $ k = \left\lceil \frac{\norm{x^* - x^0}^2 (3\tau(\norm{x^* + x^0}_2^2 + 2\norm{x^0}_2^2) + 4\rho(\norm{x^*}_2 + 2\norm{x^0}_2) + 6\gamma)}{6\tilde{\tau}^2} \right\rceil - 1 $ 반복 후에 $ f(\bar{x}^k) - f^* \neq \tilde{\tau} $ 를 달성한다.
• SVM 문제의 최적 해는 반지름 $ R = \min\left\{ \frac{1}{n\lambda} \sum_{i=1}^n \norm{w_i}_2, \sqrt{2/\lambda} \right\} $ 의 구내에 존재하므로, 초기 반복의 유계 조건을 설정할 수 있다.
• SVM 목적 함수의 서브기울기 노름은 $ \norm{x}_2 $ 에 대한 2차 다항식으로 유계이므로, 구성된 기준 함수에 대해 상대적 연속성이 확인된다.
• 논문은 비리프시츠, 비스무스한 설정에서 미러 디센트에 대한 최초의 계산 보장을 제공하며, 기존 1차 방법의 가정을 초월한 적용 범위를 확장한다.
• 이 프레임워크는 이전에 리프시츠 연속성이 부족하여 표준 서브기울기 또는 기울기 방법의 적용이 불가능했던 문제들, 예를 들어 SVM과 IEP에 대한 수렴 분석을 가능하게 한다.