[논문 리뷰] Stable rank one matrix completion is solved by two rounds of semidefinite programming relaxation

Augustin Cosse, Laurent Demanet|arXiv (Cornell University)|2017. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 3

한 줄 요약

이 논문은 추적 노름 최소화를 사용한 두 번의 반복을 거치는 정규화를 통해, 노이즈가 있는 상황에서도 O(m + n)개의 관측된 원소로부터 고유한 질량 1 행렬을 증명 가능하게 복원하는 이중 반복 정규화 프로그래밍을 제안한다. 이 방법은 리프시츠 안정성을 보장하며, 제약 조건의 다항식 이상에서 유도된 제곱합 다항식을 통해 이중 증명을 구성하여, 관측된 원소들의 이분 그래프가 연결되어 있을 경우 정확한 복원을 달성한다.

ABSTRACT

This paper studies the problem of deterministic rank-one matrix completion. It is known that the simplest semidefinite programming relaxation, involving minimization of the nuclear norm, does not in general return the solution for this problem. In this paper, we show that in every instance where the problem has a unique solution, one can provably recover the original matrix through two rounds of semidefinite programming relaxation with minimization of the trace norm. We further show that the solution of the proposed semidefinite program is Lipschitz-stable with respect to perturbations of the observed entries, unlike more basic algorithms such as nonlinear propagation or ridge regression. Our proof is based on recursively building a certificate of optimality corresponding to a dual sum-of-squares (SOS) polynomial. This SOS polynomial is built from the polynomial ideal generated by the completion constraints and the monomials provided by the minimization of the trace. The proposed relaxation fits in the framework of the Lasserre hierarchy, albeit with the key addition of the trace objective function. We further show how to represent and manipulate the moment tensor in favorable complexity by means of a hierarchical low-rank decomposition.

연구 동기 및 목표

• 질량 1 행렬 완성에서 노이즈가 있을 경우 결정론적 안정성 추정의 부족을 해결하기 위해.
• 해가 고유할 경우, 증명 가능하게 안정적이고 정확한 복원 알고리즘을 개발하기 위해.
• 결정론적 설정에서 핵심 노름 최소화가 진짜 질량 1 행렬을 복원하지 못하는 문제를 극복하기 위해.
• 최적성 검증을 위한 제곱합(SOS) 다항식과 모멘트 텐서 분해 기반의 프레임워크를 구축하기 위해.

제안 방법

• 원래의 질량 1 행렬을 복원하기 위해 추적 노름 최소화를 통한 이중 반복 정규화 프로그래밍 정규화를 제안한다.
• 완성 제약 조건의 다항식 이상과 추적 최소화 단항식에서 유도된 제곱합(SOS) 다항식을 사용하여 이중 증명을 구성한다.
• 유리한 계산 복잡도를 유지하기 위해 모멘트 텐서의 계층적 저랭크 분해를 활용한다.
• 복원 보장을 향상시키기 위해 추적 目적 함수를 추가한 라서레 계층 프레임워크를 사용한다.
• 낮은 랭크 분해의 연쇄 법칙을 통한 기울기 업데이트를 유도하여 효율적인 계산을 가능하게 한다.
• 이론 순서 t에 대해 원래의 제약 조건을 최대 차수 t−deg(hj)까지의 단항식으로 곱하여 고차원 아핀 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 추적 노름 최소화를 통한 이중 반복 정규화 프로그래밍은 O(m + n)개의 관측된 원소로부터 고유한 질량 1 행렬을 증명 가능하게 복원할 수 있는가?
• RQ2 제안된 방법은 비선형 전파나 릿지 회귀와 달리 관측된 원소의 변화에 대해 리프시츠 안정성을 보장하는가?
• RQ3 최적성 검증을 위해 다항식 이상에서 유도된 제곱합(SOS) 다항식을 이중 증명으로 구성할 수 있는가?
• RQ4 고차원 환경에서 저랭크 구조를 사용하여 모멘트 텐서를 효율적으로 표현하고 조작할 수 있는가?
• RQ5 관측 패턴(예: 이분 그래프의 연결성 등)에 어떤 조건이 있어야 고유하고 안정적인 복원이 보장되는가?

주요 결과

• 제안된 이중 반복 SDP 정규화는 해가 존재하고 고유할 경우, 고유한 질량 1 행렬을 증명 가능하게 복원한다.
• 관측된 원소의 변화에 대해 리프시츠 안정성을 확보하여 노이즈에 대한 강건성을 보장한다.
• 제약 조건의 다항식 이상과 추적 최소화 항목에서 유도된 제곱합(SOS) 다항식을 통해 이중 증명을 구성한다.
• 관측된 원소들의 이분 그래프가 연결되어 있을 경우, 레이마 1에 의해 보장되듯이 정확한 복원을 달성한다.
• 계층적 저랭크 분해를 통해 모멘트 텐서를 효율적으로 표현하고 조작하여 계산 복잡도를 감소시킨다.
• 복원 성능 향상을 위해 추적 목적 함수를 포함하면서도 라서레 계층 프레임워크에 적합한 접근을 취한다.