[논문 리뷰] Conditional gradient type methods for composite nonlinear and stochastic optimization

Saeed Ghadimi|arXiv (Cornell University)|2016. 02. 02.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 약한 평활성과 강한 볼록성 조건을 갖는 복합 비선형 및 확률적 최적화 문제를 위한 조건부 기울기 유형(CGT) 방법을 제안한다. 비볼록 및 볼록 문제 모두에 대해 최적의 반복 복잡도를 달성하며, 매개변수 추정을 피하고 각 반복의 계산 비용을 낮추는 변종을 제공하고, 노이즈가 있는 기울기 정보가 제공되는 확률적 환경으로 확장되어 약한 평활성, 비볼록, 강한 볼록 문제에 대해 향상된 복잡도 한계를 확보한다.

ABSTRACT

In this paper, we present a conditional gradient type (CGT) method for solving a class of composite optimization problems where the objective function consists of a (weakly) smooth term and a (strongly) convex regularization term. While including a strongly convex term in the subproblems of the classical conditional gradient (CG) method improves its rate of convergence, it does not cost per iteration as much as general proximal type algorithms. More specifically, we present a unified analysis for the CGT method in the sense that it achieves the best-known rate of convergence when the weakly smooth term is nonconvex and possesses (nearly) optimal complexity if it turns out to be convex. While implementation of the CGT method requires explicitly estimating problem parameters like the level of smoothness of the first term in the objective function, we also present a few variants of this method which relax such estimation. Unlike general proximal type parameter free methods, these variants of the CGT method do not require any additional effort for computing (sub)gradients of the objective function and/or solving extra subproblems at each iteration. We then generalize these methods under stochastic setting and present a few new complexity results. To the best of our knowledge, this is the first time that such complexity results are presented for solving stochastic weakly smooth nonconvex and (strongly) convex optimization problems.

연구 동기 및 목표

• 약한 평활성과 강한 볼록성 성분을 갖는 복합 최적화 문제에 대해 통합된 조건부 기울기 유형(CGT) 방법을 개발한다.
• 비볼록 약한 평활성 문제에 대해 가장 잘 알려진 반복 복잡도를 달성하고, 문제의 볼록성에 따라 거의 최적의 수렴 속도를 확보한다.
• 평활성 매개변수의 명시적 추정 없이도 추가적인 계산 비용 없이 저비용의 각 반복을 유지하는 매개변수 없는 변종을 설계한다.
• 오직 노이즈가 있는 기울기 정보만 제공되는 확률적 환경으로 CGT 프레임워크를 확장한다.
• 약한 평활성, 비볼록, 강한 볼록 최적화 문제에 대해 새로운 복잡도 한계를 수립한다.

제안 방법

• 부드러운 성분의 선형 근사와 정규화 항의 합을 볼록 집합 위에서 최소화함으로써 하위문제를 해결하며, 프록시미티 유사 하위문제를 피한다.
• 문제의 특성에 따라 백트랙킹 선색색 또는 고정 단계 크기를 사용하고, 기울기 매핑과 브레그만 거리가 포함된 내림내림 부등식을 통해 수렴성을 분석한다.
• 핵심 구성 요소로는 기울기 매핑 $ g_{X,k} $, 수열 $ y_k $, 그리고 $ s_k $ 가 선형 하위문제를 해결하는 $ x_k = (1 - \alpha_k) y_{k-1} + \alpha_k s_k $ 의 갱신 규칙이 포함된다.
• 확률적 환경에서는 배치 기반 기울기 정보를 사용하는 확률적 오라클 접근 방식을 사용하고, 기대값 기반의 하위최적성과 정류성(stationarity)을 분석한다.
• 다중 실행과 해 선택을 통해 큰 편차의 상한을 향상시키기 위해 이단계 변종을 제안한다.
• 이론적 분석은 기울기의 헬더 연속성과 정규화 항의 강한 볼록성(매개변수 $ \mu \geq 0 $)에 기반한다.

실험 결과

연구 질문

• RQ1 조건부 기울기 유형 방법이 약한 평활성 비볼록 복합 문제에 대해 최적의 반복 복잡도를 달성할 수 있는가?
• RQ2 이러한 방법이 평활성 매개변수의 명시적 지식 없이도 저비용의 각 반복을 유지할 수 있는가?
• RQ3 노이즈가 있는 기울기 정보가 있는 확률적 환경에서 CGT 방법의 반복 복잡도는 어떻게 되는가?
• RQ4 이 방법은 볼록성에 자동으로 적응할 수 있도록 통합되어 비볼록 및 볼록 영역 모두에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 기존의 일阶 방법에 비해 약한 평활성 확률적 최적화에 대해 이러한 확률적 변종의 복잡도는 어떻게 비교되는가?

주요 결과

• CGT 방법은 비볼록 약한 평활성 문제에서 $ \mathcal{O}(1/\epsilon) $ 반복 복잡도를 달성하여, 가장 잘 알려진 상한과 일치한다.
• 볼록 약한 평활성 문제에서는 $ \mathcal{O}(1/\epsilon^{\frac{1-\nu}{1+3\nu}}) $ 복잡도를 달성하며, 로그 인자 외에는 최적의 상한과 일치한다.
• 부드러운 경우($ \nu = 1 $)에, 확률적 변종은 비볼록 문제에서 $ \mathcal{O}(1/\epsilon^2) $ 오라클 복잡도를 달성하며, 로그 인자 외에는 최적이다.
• 함수 $ f $ 가 볼록이면서 부드러운 경우, 확률적 방법은 $ \mathcal{O}(1/\epsilon \log(1/\epsilon)) $ 복잡도를 달성하며, 로그 인자 외에는 최적이다.
• 매개변수 없는 변종은 추가적인 기울기 또는 하위문제 계산 없이 $ L_\nu $ 를 추정하지 않으면서도 저비용의 각 반복을 유지한다.
• 약한 평활성 비볼록 및 강한 볼록 최적화 문제에 대해 확률적 복잡도 한계를 처음으로 수립하여 문헌의 빈도를 메운다.