[논문 리뷰] Primal-Dual Optimization Algorithms over Riemannian Manifolds: an Iteration Complexity Analysis

Junyu Zhang, Shiqian Ma외 1명|arXiv (Cornell University)|2017. 10. 05.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 13

한 줄 요약

이 논문은 리만 다양체 위에서 결합된 선형 제약 조건을 가진 비볼록 및 비연속적인 다중 블록 문제를 위한 원시-이중 최적화 알고리즘을 제안한다. 선형화된 프록시 매핑과 ADMM 유사 갱신을 활용하며, ε-정류해를 달성하기 위해 O(1/ε²) 반복 복잡도 상한을 확립한다. 대규모 또는 해석적으로 구할 수 없는 경우를 대비해 확장된 확률적 및 곡선 선색 탐색 변형을 포함한다.

ABSTRACT

In this paper we study nonconvex and nonsmooth multi-block optimization over Riemannian manifolds with coupled linear constraints. Such optimization problems naturally arise from machine learning, statistical learning, compressive sensing, image processing, and tensor PCA, among others. We develop an ADMM-like primal-dual approach based on decoupled solvable subroutines such as linearized proximal mappings. First, we introduce the optimality conditions for the afore-mentioned optimization models. Then, the notion of $ε$-stationary solutions is introduced as a result. The main part of the paper is to show that the proposed algorithms enjoy an iteration complexity of $O(1/ε^2)$ to reach an $ε$-stationary solution. For prohibitively large-size tensor or machine learning models, we present a sampling-based stochastic algorithm with the same iteration complexity bound in expectation. In case the subproblems are not analytically solvable, a feasible curvilinear line-search variant of the algorithm based on retraction operators is proposed. Finally, we show specifically how the algorithms can be implemented to solve a variety of practical problems such as the NP-hard maximum bisection problem, the $\ell_q$ regularized sparse tensor principal component analysis and the community detection problem. Our preliminary numerical results show great potentials of the proposed methods.

연구 동기 및 목표

• 리만 다양체 위에서 결합된 제약 조건을 가진 비볼록, 비연속 최적화 문제에 대해 반복 복잡도 분석의 부족을 해결한다.
• 기계 학습, 텐서 분석 및 신호 처리 분야의 대규모 문제에 적용 가능한 확장 가능한 알고리즘 프레임워크를 개발한다.
• 일반적인 비볼록 및 비연속 설정 하에서 ε-정류해로의 수렴에 대한 이론적 보장을 제공한다.
• 해결이 불가능하거나 계산 비용이 큰 하위문제를 위한 확률적 및 곡선 선색 탐색 변형으로 프레임워크를 확장한다.
• 스parse 텐서 PCA, 최대 이등분 및 커뮤니티 탐지 문제에 대한 구현을 통해 실용적 적용 가능성을 입증한다.

제안 방법

• 부드럽고 비볼록 목적함수, 비연속 정규화항, 다양체 제약 조건을 가진 다중 블록 최적화 문제로 문제를 재구성한다.
• 선형화된 프록시 매핑을 통해 분리 가능하고 해석적으로 구할 수 있는 하위문제를 가진 ADMM 유사 원시-이중 알고리즘을 도입한다.
• 리만 다양체 상의 카르쉬-쿠른-타커 시스템에서 유도된 최적성 조건을 통해 ε-정류성 정의를 제시한다.
• 리아푸노프 분석과 기울기 리프시츠 연속성의 활용으로 ε-정류해 수렴을 위한 O(1/ε²) 반복 복잡도를 확립한다.
• 함수 평가 비용이 높은 대규모 모델을 위한 동일한 복잡도 상한을 가지는 확률적 변형을 제안한다.
• 하위문제의 닫힌 형태 해가 없는 경우 재타입 연산자를 사용하는 곡선 선색 탐색 변형을 도입한다.

실험 결과

연구 질문

• RQ1 선형 결합 제약 조건이 있는 리만 다양체 위에서 비볼록 및 비연속 최적화 문제에 대해 원시-이중 알고리즘이 O(1/ε²) 반복 복잡도를 달성할 수 있는가?
• RQ2 정확한 하위문제 해가 불가능하거나 계산 비용이 과도한 경우 알고리즘은 어떻게 적응할 수 있는가?
• RQ3 스parse 텐서 PCA 및 커뮤니티 탐지와 같은 실용적 문제에서 알고리즘의 성능은 어떠한가?
• RQ4 확률적 변형은 결정론적 버전과 동일한 수렴 복잡도를 유지할 수 있는가?
• RQ5 실제 네트워크 및 텐서 문제에서 최신 기법들과 비교해 알고리즘은 어떻게 성능을 내는가?

주요 결과

• 제안된 알고리즘은 리만 다양체 위에서 비볼록, 비연속 최적화 문제에 대해 ε-정류해를 달성하기 위해 O(1/ε²) 반복 복잡도를 확보한다.
• 확률적 변형은 동일한 O(1/ε²) 기대 반복 복잡도를 유지하여 대규모 모델로의 확장 가능성을 보장한다.
• 스parse 텐서 PCA에서 30×30×30 텐서에 5×5×5 코어를 적용한 결과, 평균 상대 오차는 0.0043이며, 직교성 위반은 2.7×10⁻⁷이었다.
• 42×42×42 텐서의 경우 평균 상대 오차는 0.0803이었고, 직교성 위반은 극히 미미한 1.2×10⁻¹⁴이었다.
• 캘테크 페이스북 네트워크에서 알고리즘 2는 23.68%의 오차율을 기록하여 SCORE(28.66%)와 OCCAM(34.21%)를 앞섰다.
• 심몬스 칼리지 네트워크에서 알고리즘 2는 20.61%의 오차율을 기록하여 SCORE(22.54%)와 OCCAM(23.92%)를 약간 앞섰다.