[논문 리뷰] Recovery guarantee of weighted low-rank approximation via alternating minimization

Yuanzhi Li, Yingyu Liang외 1명|arXiv (Cornell University)|2016. 02. 06.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 17

한 줄 요약

이 논문은 비이진 결정론적 가중치를 사용하는 가중치가 부여된 낮은 질서 행렬 근사에 대해 반복 최소화를 이용한 첫 번째 증명 가능한 복구 보장을 제공한다. 스펙트럼 노름으로 표현된 복구된 행렬과 진짜 행렬 간의 오차는 약간의 비균일성 및 스펙트럼 갭 조건 하에, 무작위 초기화로부터 시작하더라도 반복 횟수에 따라 지수적으로 감소함을 보여준다. 이는 핵심 행렬 성질을 유지하기 위해 단순한 클리핑 단계를 사용한다.

ABSTRACT

Many applications require recovering a ground truth low-rank matrix from noisy observations of the entries, which in practice is typically formulated as a weighted low-rank approximation problem and solved by non-convex optimization heuristics such as alternating minimization. In this paper, we provide provable recovery guarantee of weighted low-rank via a simple alternating minimization algorithm. In particular, for a natural class of matrices and weights and without any assumption on the noise, we bound the spectral norm of the difference between the recovered matrix and the ground truth, by the spectral norm of the weighted noise plus an additive error that decreases exponentially with the number of rounds of alternating minimization, from either initialization by SVD or, more importantly, random initialization. These provide the first theoretical results for weighted low-rank via alternating minimization with non-binary deterministic weights, significantly generalizing those for matrix completion, the special case with binary weights, since our assumptions are similar or weaker than those made in existing works. Furthermore, this is achieved by a very simple algorithm that improves the vanilla alternating minimization with a simple clipping step. The key technical challenge is that under non-binary deterministic weights, naïve alternating steps will destroy the incoherence and spectral properties of the intermediate solutions, which are needed for making progress towards the ground truth. We show that the properties only need to hold in an average sense and can be achieved by the clipping step. We further provide an alternating algorithm that uses a whitening step that keeps the properties via SDP and Rademacher rounding and thus requires weaker assumptions. This technique can potentially be applied in some other applications and is of independent interest.

연구 동기 및 목표

• 실제로 널리 사용되는 히우리스틱인 반복 최소화를 이용한 가중치가 부여된 낮은 질서 근사에 대해 이론적 복구 보장을 수립하기 위해.
• 기존의 행렬 완성 결과를 일반적인 비이진, 결정론적 가중치를 가진 낮은 질서 근사로 확장하기 위해.
• 소음에 대한 제약 없이, 무작위 초기화에 대해 강건한 수렴 분석을 수행하기 위해.
• 수렴에 필수적인 비균일성과 스펙트럼 성질을 유지하기 위해 클리핑 기반 알고리즘을 개발하기 위해.
• 소음 분산이 항목마다 다를 수 있는 응용 분야(예: 단어 임베딩 및 생물학적 데이터 분석)에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 중간 해의 안정성과 비균일성 유지 목적으로 클리핑 단계를 통합한 단순한 반복 최소화 알고리즘을 제안한다.
• 스펙트럼 노름 분석을 통해 복구된 행렬과 진짜 행렬 간 오차를 근사한다.
• 각 반복 단계에서 진짜 행렬과의 거리가 지수적으로 감소함을 보여주는 새로운 분석 프레임워크를 도입한다.
• 엄격한 반복 단위 보존이 아닌, 평균 기준의 비균일성 및 스펙트럼 성질 보존 전략을 클리핑을 통해 구현한다.
• 더 약한 가정 하에 성질을 유지하기 위해 정규화를 위한 정수형 프로그래밍(SDP) 기반 백색화와 라데마처 라운딩을 사용하는 대안 알고리즘을 제공한다.
• 가중치 행렬의 스펙트럼 갭이 수렴에 미치는 영향을 분석하고, 단어 임베딩 코퍼스에서 실험적으로 가정을 검증한다.

실험 결과

연구 질문

• RQ1 일반적인 비이진 가중치 하에서 반복 최소화를 이용한 가중치가 부여된 낮은 질서 근사가 진짜 행렬을 이론적으로 복구할 수 있는가?
• RQ2 SVD 기반 초기화가 필요 없이 무작위 초기화로부터도 알고리즘이 수렴하는가?
• RQ3 오차는 반복 횟수에 따라 어떻게 감소하며, 가중치가 부여된 소음에 더해 지수적으로 감소하는 항으로 bound될 수 있는가?
• RQ4 가중치 행렬의 스펙트럼 갭은 수렴과 안정성 확보에 어떤 역할을 하는가?
• RQ5 строго한 반복 단위 보존 없이도 중간 해의 비균일성과 스펙트럼 성질을 유지할 수 있는가?

주요 결과

• 복구된 행렬과 진짜 행렬 간 오차의 스펙트럼 노름은 가중치가 부여된 소음의 스펙트럼 노름에 더해, 반복 최소화의 반복 횟수에 따라 지수적으로 감소하는 추가 오차로 bound된다.
• 약간의 가정 하에 SVD 초기화뿐 아니라 더 중요한 점에서 무작위 초기화로부터도 복구 보장이 성립한다.
• 클리핑 단계는 비균일성과 스펙트럼 성질을 평균 기준으로 유지함으로써, 비볼록성에도 불구하고 수렴을 가능하게 한다.
• 이론적 프레임워크는 이전의 행렬 완성 결과를 일반화하며, 단어 임베딩 및 생물학적 데이터와 같이 비균일한 소음 분산이 존재하는 설정에 적용 가능하다.
• 대규모 코퍼스에서의 실험적 검증을 통해 임계값이 적용된 공존 가중치(예: f(X_ij) = max(X_ij, 100))가 상당한 스펙트럼 갭을 제공함을 확인하여 이론적 가정을 지지한다.
• SDP 기반 백색화와 라데마처 라운딩을 사용하는 대안 알고리즘은 더 약한 가정을 요구하며, 다른 응용 분야에서도 별도의 관심을 끌 만하다.