[논문 리뷰] Extended Gauss-Newton and Gauss-Newton-ADMM Algorithms for Low-Rank Matrix Optimization

Quoc Tran-Dinh, Zheqi Zhang|arXiv (Cornell University)|2016. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 비볼록 저질서 행렬 최적화를 위한 확장된 가우스-뉴턴(GN) 프레임워크와 GN-ADMM 알고리즘을 제안하며, 서로서 함수와 닫힌 형태의 뉴턴 방향을 활용하여 전역 수렴과 국소 수렴을 달성한다. 이 방법은 표준 ADMM보다 정확도가 뛰어나며, 변수 리프팅 없이도 비대칭 저질서 문제에서 실패하는 ADMM와는 달리 성능을 발휘한다.

ABSTRACT

We develop a generic Gauss-Newton (GN) framework for solving a class of nonconvex optimization problems involving low-rank matrix variables. As opposed to standard Gauss-Newton method, our framework allows one to handle general smooth convex cost function via its surrogate. The main complexity-per-iteration consists of the inverse of two rank-size matrices and at most six small matrix multiplications to compute a closed form Gauss-Newton direction, and a backtracking linesearch. We show, under mild conditions, that the proposed algorithm globally and locally converges to a stationary point of the original nonconvex problem. We also show empirically that the Gauss-Newton algorithm achieves much higher accurate solutions compared to the well studied alternating direction method (ADM). Then, we specify our Gauss-Newton framework to handle the symmetric case and prove its convergence, where ADM is not applicable without lifting variables. Next, we incorporate our Gauss-Newton scheme into the alternating direction method of multipliers (ADMM) to design a GN-ADMM algorithm for solving the low-rank optimization problem. We prove that, under mild conditions and a proper choice of the penalty parameter, our GN-ADMM globally converges to a stationary point of the original problem. Finally, we apply our algorithms to solve several problems in practice such as low-rank approximation, matrix completion, robust low-rank matrix recovery, and matrix recovery in quantum tomography. The numerical experiments provide encouraging results to motivate the use of nonconvex optimization.

연구 동기 및 목표

• 일般적인 매끄럽고 볼록인 비용 함수를 갖는 비볼록 저질서 행렬 최적화를 위한 일반적인 가우스-뉴턴 프레임워크를 개발하는 것.
• 표준 가우스-뉴턴과 ADMM이 비대칭 및 비볼록 설정에서 제한을 받는 문제를 극복하고, 온건한 조건 하에 정류점으로 수렴할 수 있도록 하는 것.
• 적절한 페널티 파라미터 선택을 통해 전역 수렴 보장을 보장하는 GN-ADMM 변형을 설계하는 것.
• 저질서 행렬 근사, 행렬 완성, 강건한 복원, 양자 톰그래피에 대한 실험적 검증을 통해 방법의 타당성을 입증하는 것.
• 기존의 ADMM에 비해 제안된 알고리즘을 통한 비볼록 최적화의 우수성을 입증하는 것.

제안 방법

• 프레임워크는 일반적인 매끄럽고 볼록인 비용 함수를 처리하기 위해 서로서 함수를 사용하며, 이는 비볼록 설정에서 가우스-뉴턴 업데이트를 가능하게 한다.
• 각 반복 단계에서 두 개의 랭크 크기 행렬의 역행렬과 최대 6회의 소규모 행렬 곱셈을 통해 닫힌 형태의 가우스-뉴턴 방향을 계산한다.
• 목적 함수의 충분한 감소를 보장하기 위해 백트래킹 선색색법을 적용한다.
• 대칭 문제의 경우, 표준 ADMM이 변수 리프팅 없이 실패하는 상황에서 대칭성을 유지하고 수렴을 보장하기 위해 프레임워크를 특수화한다.
• GN-ADMM 알고리즘은 가우스-뉴턴 단계를 ADMM의 교대 구조에 통합하며, 제약 조건을 강제하기 위해 페널티 파라미터를 사용한다.
• 온건한 조건 하에 수렴이 증명되며, 이는 GN-ADMM에서 페널티 파라미터의 적절한 선택을 포함한다.

실험 결과

연구 질문

• RQ1 비볼록 저질서 행렬 최적화에서 일반적인 매끄럽고 볼록인 비용 함수를 다룰 수 있도록 가우스-뉴턴 프레임워크를 확장할 수 있는가?
• RQ2 제안된 GN 방법이 온건한 조건 하에 전역 수렴과 국소 수렴을 정류점으로 보장하는가?
• RQ3 GN 접근법을 ADMM와 효과적으로 융합하여 전역 수렴 보장을 갖는 GN-ADMM 알고리즘을 구성할 수 있는가?
• RQ4 GN과 GN-ADMM의 성능은 저질서 문제의 해 정확도와 수렴 속도 측면에서 표준 ADMM에 비해 어떻게 비교되는가?
• RQ5 제안된 알고리즘은 변수 리프팅 없이도 적용 불가능한 표준 ADMM가 실패하는 대칭 저질서 문제를 다룰 수 있는가?

주요 결과

• 제안된 가우스-뉴턴 프레임워크는 온건한 조건 하에 비볼록 문제의 정류점으로 전역 수렴과 국소 수렴을 달성한다.
• 알고리즘은 잘 알려진 교대 방향 방법(ADM)에 비해 상당히 높은 해 정확도를 달성한다.
• 적절한 페널티 파라미터 선택이 이루어지면 GN-ADMM 알고리즘이 전역 수렴하여 정류점에 수렴한다.
• 이 방법은 표준 ADMM가 변수 리프팅 없이 실패하는 대칭 저질서 문제에 대해서도 효과적이다.
• 저질서 행렬 근사, 행렬 완성, 강건한 복원, 양자 톰그래피에 대한 수치 실험 결과는 유망한 성과를 보였다.
• 실험 결과는 기존의 볼록 리프레젠테이션 접근법보다 제안된 알고리즘을 통한 비볼록 최적화의 사용을 정당화한다.