[논문 리뷰] The Complexity of Large-scale Convex Programming under a Linear Optimization Oracle

Guanghui Lan|arXiv (Cornell University)|2013. 09. 22.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 86

한 줄 요약

이 논문은 선형 최적화 기반 볼록 프로그래밍(LCP) 방법에 대한 낮은 복잡도 하한을 설정하며, 선형 최적화(L0) 오рак루에서 부드럽고 볼록 문제에 대해 조건부 기울기(CndG) 방법이 최적임을 증명한다. Nesterov의 방법에서 유도된 새로운 가속화된 LCP 변종인 PA-CndG와 PDA-CndG를 제안하며, 특히 상자형 제약 조건이 있는 문제에서 뛰어난 수렴성과 수치 성능을 보여준다.

ABSTRACT

This paper considers a general class of iterative optimization algorithms, referred to as linear-optimization-based convex programming (LCP) methods, for solving large-scale convex programming (CP) problems. The LCP methods, covering the classic conditional gradient (CG) method (a.k.a., Frank-Wolfe method) as a special case, can only solve a linear optimization subproblem at each iteration. In this paper, we first establish a series of lower complexity bounds for the LCP methods to solve different classes of CP problems, including smooth, nonsmooth and certain saddle-point problems. We then formally establish the theoretical optimality or nearly optimality, in the large-scale case, for the CG method and its variants to solve different classes of CP problems. We also introduce several new optimal LCP methods, obtained by properly modifying Nesterov's accelerated gradient method, and demonstrate their possible advantages over the classic CG for solving certain classes of large-scale CP problems.

연구 동기 및 목표

• 부드럽고, 비부드럽고, 안장점 볼록 문제를 선형 최적화 오라클 하에서 해결하는 LCP 방법에 대해 날카로운 하한 복잡도를 설정한다.
• 대규모 설정에서 조건부 기울기(CndG) 방법과 그 변종의 이론적 최적성을 공식적으로 증명한다.
• Nesterov의 가속화된 기울기 방법을 선형 최적화 오라클 프레임워크에 적응시켜 새로운 최적 또는 근사 최적의 LCP 방법을 개발한다.
• 수치 실험을 통해 PDA-CndG가 특정 유형의 대규모 문제, 특히 상자형 제약 조건이 있는 문제에서 고전적 CndG와 PA-CndG를 크게 능가함을 보여준다.

제안 방법

• 최악의 경우 분석을 통해 기존 문헌의 결과를 일반화하여 LCP 방법에 대한 낮은 복잡도 하한을 유도한다.
• Nesterov의 최적의 일阶 방법 프레임워크를 적용하여, LO 오라클 제약 조건을 충족하도록 업데이트 규칙을 수정함으로써 새로운 LCP 변종인 PA-CndG와 PDA-CndG를 구성한다.
• 선형 최적화 오라클을 사용하여 각 반복에서 $\arg\min_{x\in X} \langle p, x \rangle$ 형태의 하위문제를 해결함으로써, 비용이 많이 드는 프oksimal 또는 투영 단계를 피한다.
• LCP 방법의 수렴 속도를 부드럽고, 비부드럽고, 안장점 문제의 다양한 문제 유형에 대해 분석하며, LO 오라클 모델 하에서의 성능을 평가한다.
• 단체, 스펙트라, 초입방체, 초입방체-단체 교차 영역에서의 QP 문제에 대해 광범위한 수치 실험을 수행하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 선형 최적화 오라클 하에서 부드럽고, 비부드럽고, 안장점 볼록 문제를 해결하는 LCP 방법에 대한 기본적인 낮은 복잡도 하한은 무엇인가?
• RQ2 선형 최적화 오라클 하에서 부드러운 볼록 문제에 대해 고전적인 조건부 기울기(CndG) 방법은 LCP 방법 중 최적이 되는가?
• RQ3 Nesterov의 가속화 기법은 LCP 프레임워크에 효과적으로 적응시킬 수 있는가?
• RQ4 새로운 LCP 변종인 PA-CndG와 PDA-CndG는 상자형 제약 조건이 있는 대규모 문제에서 CndG와 PA-CndG와 비교해 어떻게 성능을 냈는가?
• RQ5 어떤 문제 구조에서 PDA-CndG는 유사한 최악의 경우 복잡도 하한에도 불구하고 실제 적용에서 표준 CndG를 크게 능가하는가?

주요 결과

• CndG 방법은 LO 오라클 하에서 부드러운 볼록 문제에 대해 $\mathcal{O}(1/\epsilon)$의 최적 수렴 속도를 달성하며, 기존에 알려진 하한과 일치한다.
• 비부드럽고 안장점 문제의 경우, 논문은 복잡도 하한을 설정하고, 일부 LCP 변종이 거의 최적의 성능을 달성함을 보여준다.
• PDA-CndG 방법은 초입방체와 초입방체-단체 교차 영역에서의 QP 문제에서 CndG와 PA-CndG를 최대 두 개의 지수 차수만큼 능가한다.
• 수치 실험에서 PDA-CndG는 100회 반복 시 CndG가 1,000회 반복할 때 달성하는 목적 함수 값을 도달했으며, 정확도가 1~3자리 더 뛰어나게 되었다.
• PDA-CndG 방법은 최적의 수렴 속도를 유지하면서도, 특히 차원 수가 증가할수록 상자형 제약 조건이 있는 문제에서 뛰어난 실용적 성능을 보여주었다.
• PA-CndG와 PDA-CndG 방법은 CndG와 동일한 최악의 경우 복잡도를 계승하지만, 개선된 스텝 사이즈 및 모멘타임 전략 덕분에 실질적으로 훨씬 더 빠른 수렴을 보였다.