[논문 리뷰] Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming

Yangyang Xu|arXiv (Cornell University)|2016. 08. 13.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 3

한 줄 요약

이 논문은 비분리된 이차항을 가진 선형 제약 조건을 가진 볼록 최적화 문제를 위한 하이브리드 자코비안 및 가우스-Seidel 블록 좌표 업데이트 방법을 제안한다. 이전 반복값의 애핀 조합에서 보조 라그랑주 함수를 근사하고, 최적의 혼합 행렬을 선택하기 위해 준정형계획법을 사용함으로써, 전역 수렴과 함께 하위선형 수렴 속도를 달성하면서도 실질적으로 순수 자코비안 및 랜덤화된 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Recent years have witnessed the rapid development of block coordinate update (BCU) methods, which are particularly suitable for problems involving large-sized data and/or variables. In optimization, BCU first appears as the coordinate descent method that works well for smooth problems or those with separable nonsmooth terms and/or separable constraints. As nonseparable constraints exist, BCU can be applied under primal-dual settings. In the literature, it has been shown that for weakly convex problems with nonseparable linear constraint, BCU with fully Gauss-Seidel updating rule may fail to converge and that with fully Jacobian rule can converge sublinearly. However, empirically the method with Jacobian update is usually slower than that with Gauss-Seidel rule. To maintain their advantages, we propose a hybrid Jacobian and Gauss-Seidel BCU method for solving linearly constrained multi-block structured convex programming, where the objective may have a nonseparable quadratic term and separable nonsmooth terms. At each primal block variable update, the method approximates the augmented Lagrangian function at an affine combination of the previous two iterates, and the affinely mixing matrix with desired nice properties can be chosen through solving a semidefinite programming. We show that the hybrid method enjoys the theoretical convergence guarantee as Jacobian BCU. In addition, we numerically demonstrate that the method can perform as well as Gauss-Seidel method and better than a recently proposed randomized primal-dual BCU method.

연구 동기 및 목표

• 비분리된 이차항을 가진 대규모 선형 제약 조건을 가진 다블록 볼록 문제를 해결하기 위한 신뢰성 있고 효율적인 알고리즘이 부족한 문제를 해결한다.
• 순수 자코비안 규칙(느린 수렴)과 가우스-Seidel 규칙(수렴 불안정성 가능성)의 블록 좌표 업데이트에서의 한계를 극복한다.
• 자코비안 규칙의 수렴 보장을 유지하면서도 가우스-Seidel 규칙의 실용적 효율성을 달성하는 하이브리드 방법을 개발한다.
• 수렴을 보장하면서 성능 향상을 도모하는 혼합 행렬을 체계적으로 구성할 수 있는 방법을 제공한다.
• 비음수 선형 제약 조건을 가진 이차 프로그래밍 및 다중 클래스 서포트 벡터 머신과 같은 실제 문제들에 대해 본 방법의 효과성을 입증한다.

제안 방법

• 비분리된 이차항과 분리 가능한 비미분 함수를 가진 다블록 볼록 프로그램으로 문제를 설정하고, 선형 등식 제약 조건을 적용한다.
• 보조 라그랑주 함수에 대해 블록 좌표 업데이트 전략을 적용하여, 다른 블록은 고정한 채로 한 블록씩 업데이트한다.
• 각 업데이트 단계에서 혼합 행렬 W를 사용하여 현재 및 이전 반복값의 애핀 조합에서 보조 라그랑주 함수를 근사한다.
• 유망한 수렴 성질과 안정성을 확보하기 위해 준정형계획법을 풀어 혼합 행렬 W를 구성한다.
• 특히 비미분 성분을 위해 프록시멀 선형화 기법을 사용하여 하위문제의 해를 단순화한다.
• 각 원본 업데이트 이후 표준 보조 라그랑주 단계를 통해 이중 변수(라그랑주 승수)를 업데이트한다.

실험 결과

연구 질문

• RQ1 자코비안 및 가우스-Seidel 규칙을 융합한 하이브리드 블록 좌표 방법이 전역 수렴성과 동시에 빠른 실용적 성능을 달성할 수 있는가?
• RQ2 수렴을 보장하면서도 속도와 안정성의 상호 보완적 관계를 균형 있게 유지하기 위해 혼합 행렬을 어떻게 구성할 수 있는가?
• RQ3 제안된 방법이 기존의 랜덤화 및 순수 자코비안 기반 블록 좌표 방법보다 수렴 속도와 타당성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 본 방법이 다중 클래스 서포트 벡터 머신 및 비음수 이차 프로그래밍과 같은 대규모 문제에 효과적으로 적용될 수 있는가?
• RQ5 초기 혼합 매개변수와 적응형 스텝 사이즈가 수렴 행동에 미치는 영향은 무엇인가?

주요 결과

• 하이브리드 방법은 순수 자코비안 규칙의 이론적 보장을 그대로 유지하면서 하위선형 수렴 속도로 전역 수렴을 달성한다.
• 수치 실험 결과, 하이브리드 방법은 실질적으로 가우스-Seidel 방법과 유사한 성능을 보이며, 랜덤화된 원본-이중 BCU 방법보다 뚜렷이 뛰어난 성능을 발휘한다.
• d¹ = 0.5로 적응형 매개변수 선택을 한 방법은 d¹ = 0.1인 방법보다 더 빠르게 수렴하고 더 우수한 타당성 유지 성능을 보였다.
• 준정형계획법을 통해 계산된 혼합 행렬 W는 안정적이고 효율적인 반복값을 보장하며, W의 요소들은 이전 반복값 간 최적의 가중치 조합을 반영한다.
• 다중 클래스 SVM 문제에서 JaGS-PC(하이브리드 방법)는 초기 반복 단계에서 Jacobi-PC보다 더 낮은 목적함수 갭과 타당성 위반을 달성한다.
• 하이브리드 방법의 실행 시간은 W를 위한 준정형계획법 해법 비용을 포함하지만, 대규모 환경에서는 전체 성능 향상이 이 비용을 상쇄한다.