[논문 리뷰] Diagonal and Low-Rank Matrix Decompositions, Correlation Matrices, and Ellipsoid Fitting

James Saunderson, Venkat Chandrasekaran외 2명|2012. 04. 05.

Sparse and Compressive Sensing Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 행렬을 대각행렬과 낮은 질서의 성분으로 분해하는 문제, 상관계수 행렬의 면 구조(타원체, elliptope) 분석, 그리고 중심이 이동한 타원체가 주어진 점들을 통과하는지 여부를 분석하는 문제 사이의 등가성을 확립한다. 최소 추적 요인 분석(MTFA)이 열공간의 부분공간 혼합도(subspace coherence)가 1/2 이하일 경우, 어떤 대각행렬과의 합으로도 낮은 질서의 양의 준정부호 행렬을 정확히 복원할 수 있음을 증명하며, 고차원 행렬 분해에서의 증명 가능한 복원 조건을 제시한다.

ABSTRACT

In this paper we establish links between, and new results for, three problems that are not usually considered together. The first is a matrix decomposition problem that arises in areas such as statistical modeling and signal processing: given a matrix $X$ formed as the sum of an unknown diagonal matrix and an unknown low rank positive semidefinite matrix, decompose $X$ into these constituents. The second problem we consider is to determine the facial structure of the set of correlation matrices, a convex set also known as the elliptope. This convex body, and particularly its facial structure, plays a role in applications from combinatorial optimization to mathematical finance. The third problem is a basic geometric question: given points $v_1,v_2,...,v_n\in \R^k$ (where $n > k$) determine whether there is a centered ellipsoid passing \emph{exactly} through all of the points. We show that in a precise sense these three problems are equivalent. Furthermore we establish a simple sufficient condition on a subspace $U$ that ensures any positive semidefinite matrix $L$ with column space $U$ can be recovered from $D+L$ for any diagonal matrix $D$ using a convex optimization-based heuristic known as minimum trace factor analysis. This result leads to a new understanding of the structure of rank-deficient correlation matrices and a simple condition on a set of points that ensures there is a centered ellipsoid passing through them.

연구 동기 및 목표

• 행렬을 대각행렬과 낮은 질서의 성분으로 분해하는 문제, 타원체(상관계수 행렬의 집합)의 면 구조 분석, 주어진 점들을 통과하는 타원체 피팅 문제 사이의 이론적 등가성을 확립한다.
• 행렬 분해에서 최소 추적 요인 분석(MTFA) 히우리즘의 증명 가능한 복원 조건을 제공한다.
• R^k 내 주어진 점들에 정확히 통과하는 중심이 이동한 타원체가 존재하는 조건을 규명한다 (n > k).
• 낮은 질서 행렬의 정확한 복원을 위한 볼록 최적화 기반 충분 조건을 부분공간 혼합도에 기반해 유도한다.
• 타원체의 면 구조와 타원체 피팅 및 행렬 분해의 기하학적 문제 사이의 연결 고리를 설정한다.

제안 방법

• 행렬 분해 문제를, X = D + L 를 만족하는 낮은 질서의 양의 준정부호 행렬 L 과 대각행렬 D 를 찾는 문제로 공식화한다.
• 반정형 프로그래밍의 이중성 원리를 활용하여 MTFA 히우리즘과 타원체의 면 구조를 연결한다.
• 복원 가능성을 결정하는 핵심 기하량으로 부분공간 혼합도 μ(U) 를 도입한다.
• Walters의 정리(비음수 행렬을 가진 선형 시스템에 대한)를 적용하여 MTFA 문제의 이중 문제에서 유도된 시스템의 음수 아닌 해의 존재성을 증명한다.
• μ(U) < 1/2 이면, 임의의 대각행렬 D 에 대해 MTFA 가 X = D + L 에서 L 을 정확히 복원함을 증명한다.
• 베타 분포 尾 확률 추정식을 적용하여, r = (1/2 - ε)n 과 r > 3/ε² 일 때, 무작위로 선택된 r 차원 부분공간에서 μ(U) < 1/2 인 확률이 n 에 대해 지수적으로 감소함을 보인다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 X = D + L 인 행렬 X 가 볼록 최적화를 통해 대각행렬 D 와 낮은 질서의 양의 준정부호 행렬 L 으로 정확히 분해될 수 있는가?
• RQ2 타원체의 면 구조와 주어진 점들을 통과하는 중심이 이동한 타원체의 존재성 사이의 관계는 무엇인가?
• RQ3 최소 추적 요인 분석(MTFA) 히우리즘이 언제 L 을 X = D + L 에서 정확히 복원할 수 있는가?
• RQ4 L 의 열공간의 혼합도는 MTFA 를 통한 L 의 복원 가능성에 어떤 영향을 미치는가?
• RQ5 R^k 내 점들의 집합에 대해, 중심이 이동한 타원체가 모든 점들을 통과하는 데 필요한 기하학적 조건은 무엇인가?

주요 결과

• 낮은 질서 행렬 L 의 열공간에 대한 부분공간 혼합도 μ(U) 가 1/2 이하일 경우, 임의의 대각행렬 D 와 함께 MTFA 는 X = D + L 에서 L 을 정확히 복원한다.
• R^k 내 n개의 점(n > k)을 통과하는 타원체 피팅 문제는 행렬 분해 문제와 타원체 면 구조 문제와 등가이다.
• MTFA 문제의 이중 문제에서 유도된 선형 시스템에 대한 음수 아닌 해가 존재하는 것은 μ(U) < 1/2 이며, 이는 필수 및 충분 조건이다.
• r = (1/2 - ε)n 과 r > 3/ε² 인 경우, R^n 내 무작위 r 차원 부분공간에서 μ(U) ≥ 1/2 일 확률은 n 에 대해 지수적으로 감소한다.
• 타원체의 면 구조는 주어진 점들을 통과하는 타원체의 기하학적 실현 가능성과 직접 연결되어 있다.
• 이 논문은 고차원 요인 분석에서 정확한 복원을 위한 새로운 단순한 충분 조건을 제공하며, 이는 이전의 히우리즘 또는 대수적 접근 방식을 향상시킨다.