[논문 리뷰] Approximation Theory of Matrix Rank Minimization and Its Application to Quadratic Equations

Yun-Bin Zhao|arXiv (Cornell University)|2010. 10. 05.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 6

한 줄 요약

이 논문은 매트릭스 랭크 최소화 문제에 대해 매개변수화된 함수 φε(X)를 사용한 연속적 근사 프레임워크를 제안하며, 구조적 정수형 프로그래밍(SDP)을 통해 랭크 최소화 문제를 임의의 정밀도로 근사할 수 있음을 증명한다. 주요 결과는 타당 집합에 최소 랭크 해 중에서 프로베니우스 노름이 최소인 해가 포함되어 있을 경우, 근사 매개변수 ε → 0일 때 근사가 진짜 해로 수렴함을 보이며, 이는 계산 가능성이 보장되는 SDP 기반 해법을 가능하게 하고, 제곱형 방정식 시스템이 유일한 자명한 해를 갖는 데 대한 새로운 충분조건을 제공한다.

ABSTRACT

Matrix rank minimization problems are gaining a plenty of recent attention in both mathematical and engineering fields. This class of problems, arising in various and across-discipline applications, is known to be NP-hard in general. In this paper, we aim at providing an approximation theory for the rank minimization problem, and prove that a rank minimization problem can be approximated to any level of accuracy via continuous optimization (especially, linear and nonlinear semidefinite programming) problems. One of the main results in this paper shows that if the feasible set of the problem has a minimum rank element with the least F-norm (i.e., Frobenius norm), then the solution of the approximation problem converges to the minimum rank solution of the original problem as the approximation parameter tends to zero. The tractability under certain conditions and convex relaxation of the approximation problem are also discussed. The methodology and results in this paper provide a new theoretical basis for the development of some efficient computational methods for solving rank minimization problems. An immediate application of this theory to the system of quadratic equations is presented in this paper. It turns out that the condition for such a system without a nonzero solution can be characterized by a rank minimization problem, and thus the proposed approximation theory can be used to establish some sufficient conditions for the system to possess only zero solution.

연구 동기 및 목표

• NP-어려운 매트릭스 랭크 최소화 문제에 대해 연속적 근사 이론을 개발하는 것. 이 문제는 본질적으로 비볼록적이며 불연속적이다.
• 랭크 최소화 문제를 볼록 또는 구조적 비선형 정수형 프로그래밍(SDP)을 통해 임의로 정밀하게 근사할 수 있는 조건을 설정하는 것.
• 최소 랭크 해가 프로베니우스 노름을 최소로 갖는 경우에, 계산 가능성이 보장되는 최적화 기반으로 랭크 최소화 문제를 해결하기 위한 이론적 기반을 마련하는 것.
• 이 근사 프레임워크를 활용하여 제곱형 방정식 시스템이 유일한 자명한 해를 갖는 조건을 규명하는 것.
• SDP 기반 근사를 통해 제곱형 형식의 시스템에서 영해의 유일성을 보장하는 새로운 충분조건을 유도하는 것.

제안 방법

• 매트릭스 X의 특이값 분해로부터 유도된 행렬 함수 Φ와 Q를 사용해 불연속적인 랭크(X)를 근사하기 위해 φε(X) = tr(Φ(X)) + (1/ε)tr(Q(X))라는 연속적 근사 함수를 도입한다.
• ε → 0일 때 φε(X)가 랭크(X)로 수렴하며, 적절한 ε 값 선택 시 랭크(X)를 정확히 복원할 수 있음을 증명한다.
• 타당 집합 C를 정의하는 제약 조건을 만족하는 φε(X)의 최소화 문제로 랭크 최소화 문제를 근사화한다.
• 타당 집합 C에 최소 랭크 요소 중에서 프로베니우스 노름이 최소인 것이 포함되어 있을 경우, 근사 문제의 해가 ε → 0일 때 진짜 최소 랭크 해로 수렴함을 확립한다.
• 유한한 타당 집합에서의 계산 가능성을 확보하기 위해 선형 제약 조건을 다루기 위한 이중계층 정수형 프로그래밍(SDP) 형식 (28)을 구성한다.
• 제곱형 방정식 시스템 xᵀAᵢx = 0을 대칭 행렬 위에서의 랭크 최소화 문제로 재구성한 후, SDP 타당성 문제를 통해 충분조건를 도출한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 매트릭스 랭크 최소화 문제를 연속 최적화 문제로 임의의 정밀도로 근사할 수 있는가?
• RQ2 제안된 근사 함수 φε(X)는 진짜 랭크(X)와 어떻게 관련되어 있으며, 특정 ε 값에서 정확하게 복원될 수 있는가?
• RQ3 근사 문제의 해가 언제 진짜 최소 랭크 해로 수렴하는가?
• RQ4 이 근사 프레임워크를 사용하여 제곱형 방정식 시스템이 유일한 영해를 갖는 데 대한 충분조건를 도출할 수 있는가?
• RQ5 새로 도출된 충분조건와 기존의 조건들(예: m=2일 때 μ₁A₁ + μ₂A₂ ≻ 0) 사이의 관계는 어떠한가?

주요 결과

• 근사 함수 φε(X)는 ε → 0일 때 랭크(X)로 수렴하며, 특정 ε 값에서는 X의 랭크를 정확히 복원할 수 있다.
• 타당 집합 C에 최소 랭크 해 중에서 프로베니우스 노름이 최소인 것이 포함되어 있을 경우, 근사 문제의 해는 ε → 0일 때 이 최소 랭크 해로 수렴한다.
• 랭크 최소화 문제는 타당 집합이 유계일 경우, 구조적 비선형 정수형 프로그래밍(SDP)을 통해 임의의 정밀도로 근사 가능하며, 이는 계산적으로 타당하다.
• 타당 집합에 최소 랭크 요소 중에서 프로베니우스 노름이 최소인 것이 포함되어 있을 경우, 모델 (28)은 최소 랭크 해를 효과적으로 찾는 데 유용하다.
• 이 이론은 xᵀAᵢx = 0 (i=1,…,m) 시스템이 유일한 자명한 해를 갖는 데 대한 새로운 충분조건를 도출하며, 이를 정수형 프로그래밍 타당성 문제로 표현할 수 있다.
• 유도된 충분조건(예: 정리 4.4)는 기존 결과(예: m=2, n≥3일 때 μ₁A₁ + μ₂A₂ ≻ 0)보다 더 강력하지만 일관되며, SDP 솔버를 통해 확인 가능하다.