[논문 리뷰] Unified View of Matrix Completion under General Structural Constraints

Suriya Gunasekar, Arindam Banerjee외 1명|arXiv (Cornell University)|2016. 03. 29.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 8

한 줄 요약

이 논문은 임의의 노름 정규화에 의해 유도되는 일반적인 저랭크 구조 제약 조건 하에서 행렬 완성의 통합된 통계적 분석을 제시한다. 일반 체이닝과 가우시안 폭 도구를 사용하여, 표본 복잡도가 전반적인 서브가우시안 측정값에 비해 최대 log d 요인만큼 증가함을 입증하고, 국소화된 행렬 완성 측정값에 대해 제한된 강력한 볼록성 성질을 증명한다.

ABSTRACT

In this paper, we present a unified analysis of matrix completion under general low-dimensional structural constraints induced by {\em any} norm regularization. We consider two estimators for the general problem of structured matrix completion, and provide unified upper bounds on the sample complexity and the estimation error. Our analysis relies on results from generic chaining, and we establish two intermediate results of independent interest: (a) in characterizing the size or complexity of low dimensional subsets in high dimensional ambient space, a certain partial complexity measure encountered in the analysis of matrix completion problems is characterized in terms of a well understood complexity measure of Gaussian widths, and (b) it is shown that a form of restricted strong convexity holds for matrix completion problems under general norm regularization. Further, we provide several non-trivial examples of structures included in our framework, notably the recently proposed spectral $k$-support norm.

연구 동기 및 목표

• 저랭크 또는 분해 가능한 노름을 초월하여 임의의 노름에 의해 유도되는 저차원 구조에 대한 행렬 완성 문제에 도전한다.
• 다양한 구조 제약 조건을 통해 표본 복잡도와 추정 오차를 분석할 수 있는 통합된 이론적 프레임워크를 제공한다.
• 기존의 RIP 기반 분석의 한계를 극복하기 위해, 행렬 완성의 매우 국소화된 측정 모델에 적응한다.
• 국소화된 측정 조건 하에서 일반 노름 정규화에 대해 제한된 강력한 볼록성(RSC) 조건을 확립한다.
• 사용하는 노름에 관계없이, 행렬 완성의 표본 복잡도가 전반적인 서브가우시안 측정값의 복잡도에 log d 요인 이내로 유지됨을 입증한다.

제안 방법

• 일반 노름 정규화 하에서 제약 조건이 부여된 노름 최소화자와 일반화된 행렬 Dantzig 선택기 두 가지 추정기의 수학적 정의를 내린다.
• 고차원의 전체 공간에서 오차 집합을 기하학적 복잡도 측정 도구로 사용하여 오차 집합의 특성을 기술한다.
• Talagrand(2014)의 일반 체이닝 기법을 적용하여, 구조화된 집합 위에서 랜덤 과정의 기대 최대값을 경계한다.
• 오차 집합의 가우시안 폭을 측정 복잡도와 연결하여 표본 복잡도와 추정 오차의 상한을 유도한다.
• 국소화된 샘플링 조건 하에서 측정 연산자의 제한된 강력한 볼록성(RSC) 조건을 경험 과정 도구를 사용하여 증명한다.
• 고차원 통계 이론의 결과들(예: Chandrasekaran 등, 2012; Banerjee 등, 2014)을 활용하여 더 넓은 복원 이론과 연결한다.

실험 결과

연구 질문

• RQ1 임의의 노름 정규화 하에서 행렬 완성에 대해 통합된 표본 복잡도 상한을 유도할 수 있는가?
• RQ2 행렬 완성 측정의 국소화된 성격은 전반적인 서브가우시안 측정값에 비해 필요한 표본 크기에 어떤 영향을 미치는가?
• RQ3 일반 노름 정규화를 사용한 행렬 완성에 대해 제한된 강력한 볼록성(RSC) 성질이 성립하는가?
• RQ4 가우시안 폭은 행렬 완성에서 구조화된 오차 집합의 복잡도를 어느 정도 정량화할 수 있는가?
• RQ5 이 프레임워크는 스펙트럼 k-지원 노름과 같이 분해 불가능한 노름을 어떻게 다룰 수 있는가?

주요 결과

• 임의의 노름 정규화 하에서의 행렬 완성에 대해 표본 복잡도는 전반적인 서브가우시안 측정값의 복잡도에 log d 요인 이내로 상한이 존재한다.
• 행렬 완성에서 제한된 강력한 볼록성(RSC) 성질이 높은 확률로 성립하며, 파라미터 κ_{c₀} ≈ 1 − o(1/√log d)로 설정되어 안정적인 복원을 보장한다.
• 제약 조건이 부여된 노름 최소화자와 일반화된 Dantzig 선택기의 추정 오차는 오차 집합의 가우시안 폭과 측정 연산자에 의해 상한이 정의된다.
• 제약 조건이 부여된 노름 최소화자는 높은 확률로 ‖Δ_cn‖_F² / (d₁d₂) ≤ 4ξ² / κ_{c₀} 의 오차 상한을 달성한다.
• 일반화된 Dantzig 선택기는 높은 확률로 ‖Δ_ds‖_F² / (d₁d₂) ≤ (4λ_ds Ψ_R(T_R)) / (κ_{c₀}) × ‖Δ_ds‖_F / √(d₁d₂) 의 오차 상한을 달성한다.
• 이 프레임워크는 핵심 노름과 분해 가능한 노름 이외의 비분해 가능한 구조, 예를 들어 스펙트럼 k-지원 노름과 같은 특수 케이스를 포함하며, 이는 이전의 핵심 노름 및 분해 가능한 노름 결과를 확장한다.