[논문 리뷰] Simultaneously Structured Models with Application to Sparse and Low-rank Matrices

Samet Oymak, Amin Jalali외 3명|arXiv (Cornell University)|2012. 12. 16.

Sparse and Compressive Sensing Techniques참고 문헌 67인용 수 16

한 줄 요약

이 논문은 동시에 희박하고 낮은 질서인 행렬의 복원을 조사하며, ℓ₁ 노름과 노이즈 노름을 조합하는 표준 볼록 완화 기법이 공동 구조를 효과적으로 활용하지 못하여 이론적 최소값보다 주로 순서적으로 더 많은 측정치가 필요하다는 것을 보여준다. 이는 볼록과 비볼록 접근법 사이에 본질적인 격차가 있음을 증명하며, 비볼록 공식화는 degrees of freedom와 일치하는 오직 𝒪(rk) 측정치로 이러한 행렬을 복원할 수 있음을 보여준다. 반면 볼록 방법은 Ω(min{k², rn}) 측정치가 필요하다.

ABSTRACT

The topic of recovery of a structured model given a small number of linear observations has been well-studied in recent years. Examples include recovering sparse or group-sparse vectors, low-rank matrices, and the sum of sparse and low-rank matrices, among others. In various applications in signal processing and machine learning, the model of interest is known to be structured in several ways at the same time, for example, a matrix that is simultaneously sparse and low-rank. Often norms that promote each individual structure are known, and allow for recovery using an order-wise optimal number of measurements (e.g., $\ell_1$ norm for sparsity, nuclear norm for matrix rank). Hence, it is reasonable to minimize a combination of such norms. We show that, surprisingly, if we use multi-objective optimization with these norms, then we can do no better, order-wise, than an algorithm that exploits only one of the present structures. This result suggests that to fully exploit the multiple structures, we need an entirely new convex relaxation, i.e. not one that is a function of the convex relaxations used for each structure. We then specialize our results to the case of sparse and low-rank matrices. We show that a nonconvex formulation of the problem can recover the model from very few measurements, which is on the order of the degrees of freedom of the matrix, whereas the convex problem obtained from a combination of the $\ell_1$ and nuclear norms requires many more measurements. This proves an order-wise gap between the performance of the convex and nonconvex recovery problems in this case. Our framework applies to arbitrary structure-inducing norms as well as to a wide range of measurement ensembles. This allows us to give performance bounds for problems such as sparse phase retrieval and low-rank tensor completion.

연구 동기 및 목표

• 복수의 동시에 존재하는 구조(예: 희박성과 낮은 질서성)를 가진 신호의 볼록 최적화의 기본 한계를 이해하는 것.
• 다양한 구조를 위한 표준 노름(예: ℓ₁ 및 노이즈 노름)을 조합하는 것이 측정 복잡도를 최적화하는 데 기여하는지 조사하는 것.
• 다중 목표 볼록 완화를 사용한 성공적인 복원을 위해 필요한 측정치 수의 이론적 하한을 설정하는 것.
• 여러 구조가 동시에 존재할 때, 개별 구조 유도 노름의 볼록 조합이 최적의 샘플 복잡도를 달성하지 못하는지 보여주는 것.
• 행렬 완성 및 가우시안 측정치를 포함한 다양한 측정 집합에 적용 가능한 프레임워크를 제안하는 것.

제안 방법

• 다중 동시 구조를 갖는 신호를 원자 노름과 구조적 원자들의 볼록 결합을 사용하여 모델링하는 일반적 프레임워크를 제안한다.
• 개별 구조를 유도하는 노름(예: 희박성에 대한 ℓ₁, 낮은 질서성에 대한 노이즈 노름)의 조합을 사용한 다중 目적 볼록 최적화의 성능을 분석한다.
• 이러한 볼록 완화를 통한 성공적인 복원을 위해 필요한 측정치 수의 하한을 유도하며, 이는 단일 구조를 사용하는 것과 순서적으로 동일한 수준임을 보여준다.
• 공동 구조를 활용하는 비볼록 공식화를 도입하고, 𝒪(rk) 측정치로도 이러한 행렬을 복원할 수 있음을 증명한다. 이는 degrees of freedom와 일치한다.
• 서브샘플된 표준 기저(행렬 완성), 가우시안, 서브가우시안, 이차 측정치를 포함한 다양한 측정 집합에 프레임워크를 적용한다.
• 이중성과 기하학적 추론을 사용하여 다중 목표 문제의 파레토 최적 경계를 특성화하며, 공동 구조가 노름 조합에 의해 포괄되지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 ℓ₁ 및 노이즈 노름을 조합한 볼록 최적화가 동시에 희박하고 낮은 질서인 행렬에 대해 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 볼록 완화를 사용해 동시에 희박하고 낮은 질서인 행렬을 복원하기 위해 필요한 최소한의 일반 선형 측정치 수는 얼마인가?
• RQ3 볼록 및 비볼록 공식화의 성능 간에 동시에 구조화된 행렬을 복원할 때 본질적인 격차가 존재하는가?
• RQ4 기존의 노름 조합이 아닌, 다중 구조를 완전히 활용하는 새로운 볼록 완화를 구성할 수 있는가?
• RQ5 행렬 완성 및 가우시안 측정치와 같은 다양한 측정 집합에 대해 결과가 어떻게 일반화되는가?

주요 결과

• ℓ₁ 및 노이즈 노름의 볼록 조합을 사용한 복원을 위한 측정치 수는 Ω(min{k², rn})로 하한이 설정되며, 이는 단일 구조를 사용하는 것과 순서적으로 동일한 수준이다.
• 비볼록 공식화는 𝒪(rk) 측정치로 동시에 희박하고 낮은 질서인 행렬을 복원할 수 있으며, 이는 모델의 degrees of freedom와 일치한다.
• 이로 인해 볼록 및 비볼록 복원 간에 순서적으로 큰 격차가 존재함을 입증한다: 볼록 방법은 정보 이론적 최소값보다 훨씬 더 많은 측정치가 필요하다.
• 프레임워크는 행렬 완성, 가우시안, 서브가우시안, 이차 측정치를 포함한 다양한 측정 집합에 적용 가능하며, 이에 따라 성능 하한이 유도된다.
• 다중 구조를 완전히 활용하기 위해서는 기존의 노름 조합이 아닌, 새로운 볼록 완화가 필요하다는 것을 시사한다.
• 희박성과 낮은 질서성 행렬 복원 문제에서, ℓ₁ + 노이즈 노름을 사용한 볼록 접근법은 Ω(min{k², rn}) 측정치가 필요하지만, 진정한 degrees of freedom 는 𝒪(rk) 이므로 본질적인 비효율성이 존재한다.