[논문 리뷰] Matrix Completion with Nonuniform Sampling: Theories and Methods.

Guangcan Liu, Qingshan Liu외 2명|arXiv (Cornell University)|2018. 05. 07.

Sparse and Compressive Sensing Techniques인용 수 2

한 줄 요약

이 논문은 결정론적이고 비균일한 샘플링 하에서 행렬 완성에 대한 새로운 프레임워크를 제안하며, 정확한 행렬 복원을 위해 필요한 필수 조건인 이소메릭 조건과 상대적으로 잘 조절된 조건성을 도입한다. 이는 정확한 복원을 위한 필수 및 충분 조건이다. 이 논문은 슈atten 쿼asi노름 기반의 방법인 IsoDP를 제안하며, 이는 비랜덤 샘플링 패턴 하에서 낮은 질서의 구조를 식별하는 데 기존의 이차형 프로그래밍보다 뛰어난 성능을 보인다.

ABSTRACT

In some significant applications such as data forecasting, the locations of missing entries cannot obey any non-degenerate distributions, questioning the validity of the prevalent assumption that the missing data is randomly chosen according to some probabilistic model. To break through the limits of random sampling, we explore in this paper the problem of real-valued matrix completion under the setup of deterministic sampling. We propose two conditions, isomeric condition and relative well-conditionedness, for guaranteeing an arbitrary matrix to be recoverable from a sampling of the matrix entries. It is provable that the proposed conditions are weaker than the assumption of uniform sampling and, most importantly, it is also provable that the isomeric condition is necessary for the completions of any partial matrices to be identifiable. Equipped with these new tools, we prove a collection of theorems for missing data recovery as well as convex/nonconvex matrix completion. Among other things, we study in detail a Schatten quasi-norm induced method termed isomeric dictionary pursuit (IsoDP), and we show that IsoDP exhibits some distinct behaviors absent in the traditional bilinear programs.

연구 동기 및 목표

• 행렬 완성에서 랜덤 샘플링 가정의 한계를 해결하기 위해, 실세계 예측 응용 분야에서 관측되지 않은 데이터가 결정론적 패턴을 따를 경우의 문제를 다루는 것.
• 특히 결정론적 샘플링 하에서 임의의 행렬을 정확히 복원할 수 있도록 보장하는 이론적 조건—즉, 이소메릭 조건과 상대적으로 잘 조절된 조건성—을 수립하는 것.
• 슈텐트 쿼اسي노름 기반의 새로운 볼록/비볼록 최적화 방법인 IsoDP를 개발하여, 기존의 이차형 프로그래밍과는 다름없는 복원 행동을 보이게 하는 것.
• 이소메릭 조건이 어떤 부분 행렬의 식별 가능성에 필수적임을 증명하여, 비균일한 샘플링 하에서의 행렬 완성에 대한 기본 이론적 기반을 마련하는 것.

제안 방법

• 결정론적 샘플링 하에서 행렬 복원을 위한 필수 및 충분 조건으로 이소메릭 조건을 제안하며, 기존의 표준 비일관성 가정을 일반화한다.
• 노이즈 또는 완전하지 않은 관측치가 존재할 경우에도 안정적인 복원을 보장하기 위해 상대적으로 잘 조절된 조건성의 개념을 도입한다.
• 스체텐트 쿼اسي노름을 활용하여 복원된 행렬의 낮은 질서의 구조를 촉진하는 이소메릭 사전 추적(이소DP) 방법을 개발한다.
• 새로운 이론적 프레임워크 하에서 행렬 완성 문제를 해결하기 위해 볼록 최적화 및 비볼록 최적화 기법을 사용한다.
• 이소DP의 이론적 성질을 분석하여, 균일한 샘플링 모델보다 더 약한 조건 하에서도 행렬을 복원할 수 있음을 보여준다.
• 행렬 이론과 특이값 분해를 활용하여 샘플링 패턴이 식별 가능성과 안정성에 미치는 영향을 특성화한다.

실험 결과

연구 질문

• RQ1 표준 랜덤 샘플링 가정을 위반하는 결정론적이고 비균일한 샘플링 패턴에서도 행렬 완성이 가능할 수 있는가?
• RQ2 결정론적 샘플링 하에서 어떤 부분 행렬의 식별 가능성에 대해 필수적이고 충분한 이론적 조건이 존재하는가?
• RQ3 제안된 이소DP 방법은 기존의 이차형 프로그래밍과 비교해 복원 성능 및 이론적 보장 측면에서 어떻게 다를 수 있는가?
• RQ4 이소메릭 조건은 다양한 샘플링 패턴에서 정확한 복원을 보장하기 위해 어떤 역할을 하는가?
• RQ5 비균일한 샘플링 환경에서 슈텐트 쿼اسي노름이 핵심 노름 최소화보다 더 나은 복원 행동을 유도할 수 있는가?

주요 결과

• 이소메릭 조건은 어떤 부분 행렬의 식별 가능성에 필수적임이 증명되었으며, 이는 결정론적 샘플링 하에서 행렬 완성의 기본 요구 조건이 된다.
• 제안된 이소메릭 조건은 균일한 샘플링 가정보다 엄밀히 더 약한 조건이므로, 기존 방법이 실패하는 상황에서도 복원이 가능하게 한다.
• 슈텐트 쿼اسي노름에 기반한 이소DP는 기존 표준 이차형 프로그래밍에서는 관찰되지 않는 특별한 복원 행동을 보이며, 특히 비균일한 샘플링을 다룰 때 유리하다.
• 새로운 조건 하에서 행렬 복원에 대한 이론적 보장을 확립하여, 실세계 예측 및 비랜덤 데이터 수집에 적용 가능한 행렬 완성의 적용 범위를 넓혔다.
• 상대적으로 잘 조절된 조건성은 구조적이거나 악성인 샘플링 패턴이 존재할 경우에도 안정적인 복원을 보장하여, i.i.d. 샘플링 모델을 초월한 강건성을 향상시켰다.