[논문 리뷰] On Convergence of the Alternating Projection Method for Matrix Completion and Sparse Recovery Problems

Ming‐Jun Lai, Abraham Varghese|arXiv (Cornell University)|2017. 11. 06.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 10

한 줄 요약

이 논문은 관측된 요소들이 저질서수 행렬에서 유래된다는 가정 하에, 저질서수 행렬 완성 및 희박 복구 문제에 대해 교대 투영(AP) 알고리즘의 수렴성과 선형 수렴 속도를 확립한다. 확률 1로, 무작위로 샘플링된 요소들에 대해 질서수 $ r $ 인 행렬은 유한한 방식으로만 완성될 수 있으며, AP 방법이 진짜 저질서수 해로 선형 수렴하는 데 필요한 조건을 제시한다.

ABSTRACT

In this paper, we study the convergence of Alternating Projection (AP) algorithm for the matrix completion and compressed sensing problems. We also present computational evidence for the excellent performance of the algorithm. Also, in the last section, we prove using algebraic-geometric techniques that, fixing the known positions, if a rank r matrix can be completed in finitely many ways using one given set of known entries, then, for almost all set of known entries, the matrix can be only completed into a rank r matrix in finitely many ways.

연구 동기 및 목표

• 저질서수 행렬 완성 및 희박 복구 문제에서 교대 투영(AP) 알고리즘의 이론적 수렴 보장을 확립하기 위해.
• AP 알고리즘이 진짜 저질서수 해로 선형 수렴하는 데 필요한 충분한 조건을 규명하기 위해.
• 고정된 관측된 요소들을 가진 행렬의 가능한 완성 수를 분석하여, 확률 1로 유한한 수의 질서수 $ r $ 완성이 존재함을 보여주기 위해.
• 기본적인 $ M_{\text{obs}} $ 초기화보다 더 나은 초기 추측값을 선택하는 방법을 제공하여 수렴 속도를 가속화하기 위해.
• 이 알고리즘이 이미지 복구 작업에서의 성능을 시험하여 실용적 효용성을 검증하기 위해.

제안 방법

• 저질서수 행렬의 집합의 구조를 분석하기 위해 대수기하학 도구, 특히 아핀 및 사영 다양체 이론을 사용한다.
• 차원 이론과 사상 성질을 적용하여, 관측 사상 $ \tilde{\Phi}_{\Omega} $ 에서 일반적인 관측 벡터의 역상이 0차원임을 보여주며, 이는 유한한 수의 완성이 있음을 의미한다.
• 다양체의 차수 개념을 활용하여 관측된 요소들로부터의 질서수 $ r $ 완성 수의 상한을 구한다.
• 자리지 위상과 열린 밀도 집합을 이용하여, 거의 모든 관측된 요소 구성에서 완성 수가 유한함을 보여준다.
• 레마 17과 레마 19를 활용하여, 저질서수 행렬 다양체가 관측 사상 아래에서 이미지의 차원이 원래 다양체의 차원과 같음을 증명함으로써 정규성을 확보한다.
• 대부분의 결과들(예: [43]의 보조정리 3)을 활용하여, 관측 사상에 대해 유한한 역상이 존재하는 점들의 집합이 자리지 열린 밀도 집합임을 증명함으로써, 전체 측도를 가짐을 보여준다.

실험 결과

연구 질문

• RQ1 교대 투영 알고리즘이 행렬 완성 문제에서 진짜 저질서수 해로 수렴하는 조건은 무엇인가?
• RQ2 AP 알고리즘이 선형 수렴을 보일 조건은 언제이며, 이러한 수렴 속도를 보장하는 기하학적 또는 대수적 조건은 무엇인가?
• RQ3 질서수 $ r $ 행렬에서 관측된 요소들 집합이 주어졌을 때, 이를 완성할 수 있는 서로 다른 질서수 $ r $ 행렬은 몇 개인가?
• RQ4 행렬 완성 문제의 해가 유일하거나 유한한 해를 가지는 관측된 요소 구성의 집합을 어떻게 특성화할 수 있는가?
• RQ5 기본 초기화 $ M_{\Omega} $ 보다 유의미하게 수렴 속도를 높일 수 있는, AP 알고리즘에 대한 더 나은 초기 추측값을 어떻게 선택할 수 있는가?

주요 결과

• 확률 1로, 어떤 $ r $-가능성 있는 관측 요소 벡터도 유한한 수의 질서수 $ r $ 완성으로 이어지며, 이는 해 집합이 이산적임을 보장한다.
• 가능한 완성 수의 상한은 다양체 $ \overline{\mathcal{M}_r} $ 의 차수로 주어지며, $ \prod_{i=0}^{n-r-1}\frac{\binom{n+i}{r}}{\binom{r+i}{r}} $ 로 주어지며, 이는 날카운 상한이다.
• 관측된 요소들이 질서수 $ r $ 행렬에서 유래된다는 가정 하에, AP 알고리즘은 진짜 저질서수 행렬로 수렴하며, 적절한 조건 하에 선형 수렴한다.
• 수렴 분석은 관측 사상의 일반적인 관측 벡터에 대한 역상이 0차원임을 바탕으로 하며, 이는 차원 등식과 사상 이론에 의해 유도된다.
• 유한한 수의 완성을 갖는 관측 구성은 자리지 열린 밀도 집합이며, 이는 일반적인 구성이며 르베그 측도로 전체 측도를 가짐을 의미한다.
• 논문은 $ M_{\Omega} $ 보다 더 나은 초기 추측값을 선택하는 구조적 방법을 제공하며, 이는 실생활에서 AP 알고리즘의 수렴 속도를 크게 향상시킬 수 있다.