[논문 리뷰] Harmonic Mean Iteratively Reweighted Least Squares for Low-Rank Matrix Recovery

Christian Kümmerle, Juliane Sigl|arXiv (Cornell University)|2017. 03. 15.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 18

한 줄 요약

이 논문은 완전하지 않은 선형 관측치로부터 저질수 행렬 복원을 위한 새로운 반복적으로 재가중 최소제곱 알고리즘인 조화 평균 IRLS(HM-IRLS)를 제안한다. 비볼록 Schatten-$p$ 준노름($0 < p < 1$)을 최소화하기 위해 조화 평균 기반 가중치 행렬를 사용함으로써, 최신 기술보다 훨씬 적은 측정 수로 거의 완벽한 복원 성능를 달성하며, 영공간 성질 조건 하에서 국소적으로 초선형 수렴을 보이며, 다른 방법이 실패하는 어려운 케이스에서도 경험적으로 전역 수렴을 관찰할 수 있다.

ABSTRACT

We propose a new iteratively reweighted least squares (IRLS) algorithm for the recovery of a matrix $X \in \mathbb{C}^{d_1 imes d_2}$ of rank $r \ll\min(d_1,d_2)$ from incomplete linear observations, solving a sequence of low complexity linear problems. The easily implementable algorithm, which we call harmonic mean iteratively reweighted least squares (HM-IRLS), optimizes a non-convex Schatten-$p$ quasi-norm penalization to promote low-rankness and carries three major strengths, in particular for the matrix completion setting. First, we observe a remarkable global convergence behavior of the algorithm's iterates to the low-rank matrix for relevant, interesting cases, for which any other state-of-the-art optimization approach fails the recovery. Secondly, HM-IRLS exhibits an empirical recovery probability close to $1$ even for a number of measurements very close to the theoretical lower bound $r (d_1 +d_2 -r)$, i.e., already for significantly fewer linear observations than any other tractable approach in the literature. Thirdly, HM-IRLS exhibits a locally superlinear rate of convergence (of order $2-p$) if the linear observations fulfill a suitable null space property. While for the first two properties we have so far only strong empirical evidence, we prove the third property as our main theoretical result.

연구 동기 및 목표

• 핵심 노름 최소화와 같은 볼록 리팩토링 방법의 한계를 해결하기 위해, 과도한 오버샘플링이 요구되고 대규모 문제에서는 계산 비용이 높은 문제를 해결하기 위함.
• 실제 복원 성능를 향상시키고, 저질수 행렬 복원의 이론적 하한 이하의 측정 수요를 줄이기 위함.
• 강력한 전역 수렴 행동과 국소적으로 빠른 수렴 속도를 갖는 비볼록 최적화 접근법을 개발하기 위함.
• Schatten-$p$ 최소화를 위한 반복적으로 재가중 최소제곱에 있어 안정성과 수렴성을 향상시키는 새로운 조화 평균 가중치 설계를 도입하기 위함.

제안 방법

• 반복된 해의 특이값 분해로부터 유도된 조화 평균 기반 가중치 행렬를 사용하여, 가중치가 부여된 최소제곱 문제의 시퀀스를 해결함.
• 행렬 변수 $X$, 보조 변수 $Z$, 정규화 파라미터 $\epsilon$를 포함하는 교대 최소화 방식을 통해 $0 < p < 1$에 대해 Schatten-$p$ 준노름을 최소화함.
• 가중치 행렬는 왼쪽 및 오른쪽 특이값 기반 가중치 행렬의 조화 평균으로 정의되어, 행과 열 공간에 대해 대칭적인 처리를 보장함.
• 비볼록 Schatten-$p$ 노름을 근사하고 악조건을 피하기 위해 감소하는 $\epsilon$을 사용하는 계속 전략을 적용함.
• 보조 기능 $\mathcal{J}_p(X, \epsilon, Z)$를 통한 수렴 분석을 수행하며, 이 기능은 단조 감소하고 하한이 존재하므로 반복 해의 수렴을 보장함.
• 이론적 분석을 통해 영공간 성질 조건 하에서 국소적으로 순서 $2-p$의 초선형 수렴을 입증하였으며, 어려운 복원 케이스에서 경험적으로 전역 수렴을 관찰함.

실험 결과

연구 질문

• RQ1 최신 기술의 볼록 및 비볼록 방법이 실패하는 경우에도 비볼록 IRLS 알고리즘이 참값의 저질수 해로 전역 수렴을 달성할 수 있는가?
• RQ2 조화 평균 기반 가중치 사용이 실질적 복원 성능를 향상시키고, 정보 이론적 하한 이하의 측정 수요를 줄일 수 있는가?
• RQ3 기본적인 영공간 조건 하에서 제안된 HM-IRLS 알고리즘의 국소 수렴 속도는 어떠한가?
• RQ4 저질수 행렬 복원을 위한 IRLS에서 표준 열 또는 행 재가중 전략과 비교해 조화 평균 가중 전략은 어떠한가?

주요 결과

• HM-IRLS는 이론적 하한 $r(d_1 + d_2 - r)$에 매우 가까운 측정 수로도 실질적인 복원 확률이 거의 1에 가까이 되며, 다른 실용적인 방법들보다 뚜렷이 뛰어난 성능를 보임.
• 기존 최신 기술의 최적화 접근법이 참값의 저질수 행렬을 복원하지 못하는 어려운 케이스에서도 알고리즘이 놀라운 전역 수렴 행동을 보임.
• 영공간 성질 조건 하에서 HM-IRLS는 순서 $2 - p$의 국소적으로 초선형 수렴을 보이며, 이는 선형 수렴보다 더 빠르고 $p$가 감소할수록 향상됨.
• 이론적 분석을 통해 HM-IRLS가 생성하는 반복 해의 수열이 보조 기능 $\mathcal{J}_p$에서 단조 감소하며, 이는 임계점으로의 수렴을 보장함.
• 조화 평균 가중치 행렬 구성은 행과 열 공간에 대해 대칭적인 처리를 보장하여, 열 또는 행 전용 재가중 전략에서 유발되는 편향을 방지함.
• 알고리즘은 쉽게 구현 가능하며, 각 반복에서 낮은 복잡도의 선형 시스템만을 풀면 되므로 대규모 문제에 대해 계산적으로 효율적임.