[논문 리뷰] ADMiRA: Atomic Decomposition for Minimum Rank Approximation

Kiryung Lee, Yoram Bresler|ArXiv.org|2009. 05. 01.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 18

한 줄 요약

이 논문은 희박 벡터 복원을 위한 CoSaMP에 영감을 받은 저질서 행렬 복원을 위한 탐욕 알고리즘인 ADMiRA를 제안한다. 이 알고리즘은 질서 제한 이sovmetry 성질(Rank-Restricted Isometry Property) 하에서 성능 보장을 제공하며, 노이즈가 있는 환경에서도 선형 수렴과 유한한 오차를 보장한다. 또한 행렬 완성과 같은 희박한 측정 연산자에 대해 측정 수에 대해 선형적인 계산 복잡도를 가진다.

ABSTRACT

We address the inverse problem that arises in compressed sensing of a low-rank matrix. Our approach is to pose the inverse problem as an approximation problem with a specified target rank of the solution. A simple search over the target rank then provides the minimum rank solution satisfying a prescribed data approximation bound. We propose an atomic decomposition that provides an analogy between parsimonious representations of a sparse vector and a low-rank matrix. Efficient greedy algorithms to solve the inverse problem for the vector case are extended to the matrix case through this atomic decomposition. In particular, we propose an efficient and guaranteed algorithm named ADMiRA that extends CoSaMP, its analogue for the vector case. The performance guarantee is given in terms of the rank-restricted isometry property and bounds both the number of iterations and the error in the approximate solution for the general case where the solution is approximately low-rank and the measurements are noisy. With a sparse measurement operator such as the one arising in the matrix completion problem, the computation in ADMiRA is linear in the number of measurements. The numerical experiments for the matrix completion problem show that, although the measurement operator in this case does not satisfy the rank-restricted isometry property, ADMiRA is a competitive algorithm for matrix completion.

연구 동기 및 목표

• 부분적으로 결정된 선형 측정치로부터 저질서 행렬을 복원하는 역문제를 다루며, 특히 노이즈가 있거나 근사적으로 저질서인 경우에 초점을 맞춘다.
• 질서 최소화의 NP-난해성 문제를 해결하기 위해 볼록 최적화나 준정형 프로그래밍을 피하는 탐욕적이고 원자 분해 기반의 접근 방식을 제안한다.
• 희박한 벡터 복원에서 CoSaMP의 성공을 원자 분해의 유사성에 기반해 저질서 행렬 복원으로 확장한다.
• 질서 제한 이sovmetry 성질(Rank-Restricted Isometry Property) 하에서 반복 횟수 및 오차 한계와 같은 이론적 성능 보장을 제공한다.
• 특히 행렬 완성과 같은 희박한 측정 연산자에서 측정 수에 대해 선형적인 계산 복잡도를 달성한다.

제안 방법

• 희박한 벡터 표현과 유사한 저질서 행렬의 원자 분해를 제안하며, 여기서 원자는 단위 벡터의 외적(outer product)으로 구성된 질서 1 성분에 해당한다.
• 측정 제약 조건으로 정의된 탈출 가능한 집합 내에서 최소 질서 근사 문제로 복원 문제를 재구성하고, 탐욕적 추적 전략을 사용한다.
• 잔차와 가장 상관도가 높은 원자(질서 1 성분)를 반복적으로 선택하는 탐욕 알고리즘인 ADMiRA를 설계하며, 식별을 위해 단순화된 특이값 분해(Singular Value Decomposition, SVD)를 사용한다.
• 각 반복 단계에서 해를 고정된 질서로 줄이기 위해 임계값 처리 단계를 도입하여 원자 표현의 희박성을 확보한다.
• 반복 횟수와 근사 해의 오차를 제한하기 위해 질서 제한 이sovmetry 성질(Rank-Restricted Isometry Property, RIP-R)을 활용한다.
• 잔차 에너지 감소 기반의 정지 기준을 통합하여, 보장된 오차 범위 내에서 해에 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 희박한 벡터 복원을 위한 탐욕 알고리즘은 원자 분해 프레임워크를 통해 저질서 행렬 복원으로 성공적으로 확장될 수 있는가?
• RQ2 노이즈가 있는 측정치 하에서 반복 횟수 및 오차 한계 측면에서 이러한 탐욕 알고리즘에 대해 어떤 성능 보장을 확보할 수 있는가?
• RQ3 특히 희박한 측정 연산자에서 측정 수에 따라 제안된 방법의 계산 복잡도는 어떻게 변화하는가?
• RQ4 측정 연산자가 질서 제한 이sovmetry 성질을 만족하지 않더라도 ADMiRA는 행렬 완성에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 진짜 행렬이 정확히 저질서가 아니라 근사적으로 저질서일 경우 알고리즘이 어떻게 행동하는가?

주요 결과

• ADMiRA는 반복 횟수 $ k_{\text{max}} = t \text{log}_{\beta}(1 + 4.3\sqrt{r/t}) $ 로 제한된 성능 보장을 달성한다. 여기서 $ t $ 는 진짜 행렬의 프로파일이고 $ r $ 은 그 질서이다.
• 반복 횟수 $ k \leq K $ 이내에서 근사 오차가 $ \|X_0 - \widehat{X}_k\|_F \leq 15\|\nu\|_2 $ 를 만족함을 보장한다. 여기서 $ K $ 는 반복 횟수의 상한이다.
• 근사 저질서 행렬의 경우 오차는 $ \|X_0 - \widehat{X}\|_F < 17\epsilon $ 로 제한되며, 여기서 $ \epsilon $ 은 잘라내기 오차와 노이즈 에너지의 합이다.
• 측정 연산자가 희박한 경우, 예를 들어 행렬 완성에서 측정 수에 대해 선형적인 계산 복잡도를 나타낸다.
• 수치 실험 결과, 측정 연산자가 질서 제한 이sovmetry 성질을 만족하지 않더라도 ADMiRA는 행렬 완성에서 경쟁적인 성능을 보였다.
• ADMiRA는 준정형 프로그래밍의 높은 비용을 피하기 위해 단순화된 SVD 기반의 탐욕적 원자 추적을 사용하여 더 큰 문제에 대한 확장성을 확보한다.