[논문 리뷰] Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis

Bo Jiang, Tianyi Lin외 2명|arXiv (Cornell University)|2016. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 22

한 줄 요약

이 논문은 블록 변수와 애핀 제약 조건을 가진 구조적 비볼록 및 비미분 가능 최적화를 위한 1차 알고리즘을 제안하며, 프록시멀 ADMM 변종과 일반화된 조건부 기울기 하강법을 도입한다. ε-정류해에 도달하기 위한 반복 복잡도 상한으로 O(1/ε²)을 확립하고, 텐서 강건 PCA에서의 수치적 검증을 통해 블록 좌표 강하법 대비 뛰어난 전역 수렴 성능을 보여준다.

ABSTRACT

Nonconvex and nonsmooth optimization problems are frequently encountered in much of statistics, business, science and engineering, but they are not yet widely recognized as a technology in the sense of scalability. A reason for this relatively low degree of popularity is the lack of a well developed system of theory and algorithms to support the applications, as is the case for its convex counterpart. This paper aims to take one step in the direction of disciplined nonconvex and nonsmooth optimization. In particular, we consider in this paper some constrained nonconvex optimization models in block decision variables, with or without coupled affine constraints. In the case of without coupled constraints, we show a sublinear rate of convergence to an $ε$-stationary solution in the form of variational inequality for a generalized conditional gradient method, where the convergence rate is shown to be dependent on the Hölderian continuity of the gradient of the smooth part of the objective. For the model with coupled affine constraints, we introduce corresponding $ε$-stationarity conditions, and apply two proximal-type variants of the ADMM to solve such a model, assuming the proximal ADMM updates can be implemented for all the block variables except for the last block, for which either a gradient step or a majorization-minimization step is implemented. We show an iteration complexity bound of $O(1/ε^2)$ to reach an $ε$-stationary solution for both algorithms. Moreover, we show that the same iteration complexity of a proximal BCD method follows immediately. Numerical results are provided to illustrate the efficacy of the proposed algorithms for tensor robust PCA.

연구 동기 및 목표

• 실제 응용에서 스케일러블한 비볼록 및 비미분 가능 최적화를 위한 체계적인 이론과 알고리즘 프레임워크의 부족을 해결하기 위해.
• 블록 변수와 애핀 결합 제약 조건을 가진 구조적 비볼록 최적화 문제를 위한 1차 알고리즘을 개발하고, 증명 가능한 수렴 속도를 확보하기 위해.
• 홀더 연속성의 기울기 조건과 프록시멀 업데이트 가정 하에 ε-정류해에 도달하기 위한 반복 복잡도 상한을 확립하기 위해.
• 제안된 알고리즘의 유효성을 텐서 강건 PCA에서 검증하여 수렴 동작과 전역 해 품질을 비교하기 위해.

제안 방법

• 결합 제약 조건이 없는 비볼록 문제를 위한 일반화된 조건부 기울기 하강법을 도입하여, 기울기의 홀더 연속성 조건 하에 ε-정류해에 하향 수렴하는 하향 수렴 속도를 달성한다.
• 결합된 애핀 제약 조건을 가진 문제를 위한 두 가지 프록시멀 유형의 ADMM 변종을 제안하며, 마지막 블록만 기울기 또는 최대화-최소화 단계를 사용한다.
• 모든 블록을 제외한 마지막 블록을 제외한 프록시멀 블록 좌표 강하법(BiCD)을 적용하여, ADMM 변종과 동일한 O(1/ε²) 반복 복잡도를 보여준다.
• 비볼록성과 비미분 가능성 조건 하에서 수렴 분석이 가능하도록, 애핀 제약 조건이 있는 비볼록 문제의 ε-정류성 조건을 정의한다.
• ADMM에서 모든 블록을 제외한 마지막 블록을 제외한 모든 블록에 프록시멀 업데이트를 적용하여 실행 가능성을 확보하면서도 수렴 보장을 유지한다.
• 부드럽고 비볼록인 f와 비미분 가능하고 비볼록인 r_i를 포함한 구조적 최적화 모델을 정의하며, 애핀 결합 제약 조건과 블록에 대한 볼록 집합 제약 조건을 포함한다.

실험 결과

연구 질문

• RQ1 결합된 애핀 제약 조건이 있는 구조적 비볼록 및 비미분 가능 최적화 문제를 해결하기 위한 1차 방법의 반복 복잡도는 무엇인가?
• RQ2 마지막 블록 변수만 기울기 또는 최대화-최소화 단계를 사용하는 경우, 프록시멀 ADMM 변종이 ε-정류해에 수렴할 수 있는가?
• RQ3 일반화된 조건부 기울기 하강법의 수렴 속도는 목적 함수의 부드러운 부분의 기울기의 홀더 연속성에 어떻게 의존하는가?
• RQ4 실제로 텐서 강건 PCA에서 제안된 알고리즘들은 수렴 속도와 전역 해 품질 측면에서 어떻게 비교되는가?
• RQ5 동일한 가정 하에 프록시멀 BCD 방법은 프록시멀 ADMM 변종과 동일한 반복 복잡도를 유산하는가?

주요 결과

• 일반화된 조건부 기울기 하강법은 목적 함수의 부드러운 부분의 기울기의 홀더 연속성 조건에 따라 ε-정류해에 하향 수렴하는 하향 수렴 속도를 달성한다.
• 두 프록시멀 ADMM 변종 모두, 모든 블록을 제외한 마지막 블록을 제외한 프록시멀 업데이트가 실행 가능하다는 가정 하에 ε-정류해에 도달하기 위한 O(1/ε²) 반복 복잡도 상한을 확보한다.
• 프록시멀 BCD 방법에 대해서도 동일한 O(1/ε²) 반복 복잡도가 ADMM 분석을 직접적으로 따르며 확립된다.
• 텐서 강건 PCA에서의 수치 결과는 BCD가 종종 국소 해에 수렴하는 반면, ADMM 및 BCD 변종은 더 뛰어난 전역 해 품질을 달성함을 보여준다.
• 텐서 분해에서 더 큰 기저를 허용할 경우(R = R_CP + ⌈0.2*R_CP⌉), 알고리즘은 개선된 상대 오차와 더 빠른 수렴 속도를 달성하며, 프록시멀 BCD는 종종 ADMM 변종보다 더 적은 반복 수를 필요로 한다.
• 모든 테스트 케이스에서 상대 오차 < 0.01인 해의 수(Num)는 표준 BCD보다 ADMM 및 BCD 변종에서 더 높게 나타나, 더 우수한 전역 수렴 성능을 나타낸다.