[논문 리뷰] Provable non-convex projected gradient descent for a class of constrained matrix optimization problems.

Dohyung Park, Anastasios Kyrillidis외 3명|arXiv (Cornell University)|2016. 06. 04.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 9

한 줄 요약

이 논문은 강한 볼록 목표 함수와 행렬 노름 제약 조건을 가진 저질서 양의 정부호 행렬 문제를 위한 스케일러블한 비볼록 최적화 방법인 투영된 인수 분해 경사하강법(ProjFGD)을 제안한다. 새로운 내림내림 보조정리(Descent Lemma)를 활용하여 인수 공간에서 국소 선형 수렴을 달성하며, 양자 상태 톰그래피와 단계 복원과 같은 응용 분야에 대해 증명 가능한 수렴성을 제공한다.

ABSTRACT

We propose a simple and scalable non-convex method for low-rank PSD matrix problems with a generic (strongly) convex objective $f$, and additional matrix norm constraints. Such criteria appear in quantum state tomography and phase retrieval applications, among others. However, without careful design, existing methods quickly run into time and memory bottlenecks, as problem dimensions increase. To remedy these shortcomings, we propose the Projected Factored Gradient Descent (ProjFGD) algorithm, that operates on the low-rank factorization of the variable space. Such factorization imputes non-convexity in the optimization; nevertheless, we show that our method favors local linear convergence rate in the non-convex factored space, for a class of convex norm-constrained problems. We build our theory on a novel descent lemma, that extends recent results on the unconstrained version of the problem. Our findings are supported by empirical evidence on quantum state tomography and sparse phase retrieval applications.

연구 동기 및 목표

• 대규모 제약 조건이 있는 저질서 행렬 최적화 문제에서의 확장성과 메모리 병목 현상 문제를 해결하기 위해.
• 노름 제약 조건이 있는 볼록 행렬 문제의 비볼록 인수 분해 형태를 위한 증명 가능한 수렴 성질을 갖는 방법을 개발하기 위해.
• 기존의 비제약 조건 비볼록 행렬 최적화 이론을 새로운 내림내림 보조정리를 통해 제약 조건이 있는 경우로 확장하기 위해.
• 실제 문제들인 양자 상태 톰그래피와 희소 단계 복원과 같은 문제들을 효율적으로 해결할 수 있도록 하기 위해.

제안 방법

• 행렬 변수의 저질서 인수 분해를 사용하여 차원을 감소시키고 스케일러블한 최적화를 가능하게 한다.
• 행렬 노름 제약 조건으로 정의된 탇합 집합 위로 반복값을 투영하는 인수 공간에서의 투영 경사하강법을 적용한다.
• 비볼록 인수 분해 형태에서 수렴 보장을 확립하기 위해 새로운 내림내림 보조정리를 도출한다.
• 강한 볼록 목표 함수를 기반으로 하여 유리한 수렴 행동을 보장한다.
• 투영 단계는 핵심 노름 또는 프로베니우스 노름의 경계를 강제로 적용한다.
• 비용이 많이 들지 않고 고메모리 연산을 피하는 단순하고 효율적인 방법으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 강한 볼록 목표 함수를 가진 제약 조건이 있는 저질서 행렬 문제에 대해 비볼록 인수 최적화 방법이 국소 선형 수렴을 달성할 수 있는가?
• RQ2 제약 조건이 존재할 때 비볼록 인수 공간에서 수렴을 어떻게 증명적으로 확립할 수 있는가?
• RQ3 새로운 내림내림 보조정리는 비제약 조건 설정에서의 수렴 결과를 제약 조건 설정으로 확장하는 데 어떤 역할을 하는가?
• RQ4 메모리나 시간 병목 현상 없이 고차원 문제에 대해 효율적으로 확장될 수 있는가?
• RQ5 실제 응용 분야인 양자 상태 톰그래피에 대해 이론적 보장을 유지하면서도 실용적으로 효율적인가?

주요 결과

• ProjFGD 알고리즘은 강한 볼록 목표 함수와 노름 제약 조건이 있는 볼록 행렬 최적화 문제의 일군의 클래스에 대해 비볼록 인수 공간에서 국소 선형 수렴을 달성한다.
• 최근의 비제약 조건 설정에서의 결과를 확장하기 위해 새로운 내림내림 보조정리를 통해 수렴 보장을 확보한다.
• 기존의 접근 방식에서 흔한 대규모 문제에서의 메모리 및 시간 병목 현상 없이 스케일러블하다.
• 실험 결과는 양자 상태 톰그래피 및 희소 단계 복원 작업에서 이 방법의 효과성을 확인한다.
• 이론적 프레임워크는 강한 볼록성과 제약 조건 조건 하에서 수렴성을 유지하면서도 비볼록 인수 분해를 사용할 수 있도록 지원한다.