[논문 리뷰] Universality in Learning from Linear Measurements

Ehsan Abbasi, Fariborz Salehi외 1명|arXiv (Cornell University)|2019. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 9

한 줄 요약

이 논문은 선형 측정에서 신호 복원에 대한 일반성 원리를 수립한다: 구조화된 신호를 완벽하게 복원하기 위해 필요한 최소 측정 수는 측정 벡터의 평균과 공분산(1차 및 2차 통계)에만 의존한다. 이는 분석을 위해 일반 측정 분포를 동일한 평균과 공분산을 가진 등가 가우시안 분포로 대체할 수 있음을 의미하며, CGMT와 같은 기존 도구를 통해 정확한 계면 전이 임계값(예: 위상 복원에서 PhaseLift의 경우 3n 측정)을 도출할 수 있다.

ABSTRACT

We study the problem of recovering a structured signal from independently and identically drawn linear measurements. A convex penalty function $f(\cdot)$ is considered which penalizes deviations from the desired structure, and signal recovery is performed by minimizing $f(\cdot)$ subject to the linear measurement constraints. The main question of interest is to determine the minimum number of measurements that is necessary and sufficient for the perfect recovery of the unknown signal with high probability. Our main result states that, under some mild conditions on $f(\cdot)$ and on the distribution from which the linear measurements are drawn, the minimum number of measurements required for perfect recovery depends only on the first and second order statistics of the measurement vectors. As a result, the required of number of measurements can be determining by studying measurement vectors that are Gaussian (and have the same mean vector and covariance matrix) for which a rich literature and comprehensive theory exists. As an application, we show that the minimum number of random quadratic measurements (also known as rank-one projections) required to recover a low rank positive semi-definite matrix is $3nr$, where $n$ is the dimension of the matrix and $r$ is its rank. As a consequence, we settle the long standing open question of determining the minimum number of measurements required for perfect signal recovery in phase retrieval using the celebrated PhaseLift algorithm, and show it to be $3n$.

연구 동기 및 목표

• 고정확도로 구조화된 신호를 완벽하게 복원하기 위해 필요한 최소 선형 측정 수를 결정하기 위해.
• 측정 분포의 고차 모멘트가 평균과 공분산 외에 복원 임계값에 영향을 미치는지 조사하기 위해.
• 일반적인 측정 벡터를 동일한 평균과 공분산을 가진 i.i.d. 가우시안 벡터로 대체할 수 있는 일반성 결과를 수립하기 위해.
• 이차 측정, 특히 위상 복원 및 낮은 질량 행렬 복원에서 일반성 원리를 적용하기 위해.
• 위상 복원에서 PhaseLift 알고리즘의 정확한 계면 전이 임계값에 대한 오랫동안 미해결된 열린 문제를 해결하기 위해.

제안 방법

• 신호 복원을 측정 제약 조건 $ \mathbf{a}_i^T\mathbf{x} = y_i $ 하에 펜alty 함수 $ f(\mathbf{x}) $ 를 최소화하는 볼록 최적화 문제로 공식화하기 위해.
• 측정 벡터가 가우시안일 경우 최적화의 渐近적 행동을 분석하기 위해 볼록 가우시안 최소-최대 정리(CGMT)를 사용하기 위해.
• 계면 전이 임계값이 측정 벡터의 평균 $ \mu $ 와 공분산 $ \Sigma $ 에만 의존하고 고차 모멘트에는 영향을 받지 않는다는 것을 입증하기 위해.
• 주어진 $ \mu $ 와 $ \Sigma $ 를 가진 임의의 측정 분포에 대해, 복원 임계값이 해당 i.i.d. 가우시안 측정 집합과 동일하다는 것을 증명하기 위해.
• 측정을 매트릭스 복원 프레임워크를 사용해 $ \mathbf{X}_0 = \mathbf{x}_0\mathbf{x}_0^T $ 로 레이징함으로써 이차 측정에 일반성 결과를 적용하기 위해.
• 낮은 질량, 희박, 동시에 구조화된 매트릭스 등의 특정 구조에 대해, 가우시안 등가 모델을 사용하여 정확한 계면 전이 임계값을 유도하기 위해.

실험 결과

연구 질문

• RQ1 구조화된 신호를 완벽하게 복원하기 위해 필요한 최소 측정 수가 측정 벡터의 1차 및 2차 통계에만 의존하는가?
• RQ2 동일한 평균과 공분산를 가진 등가 가우시안 집합을 분석함으로써 비가우시안 측정 분포의 복원 임계값을 결정할 수 있는가?
• RQ3 이차 측정을 사용한 위상 복원에서 PhaseLift 알고리즘의 정확한 계면 전이 임계값은 무엇인가?
• RQ4 일반성 원리는 낮은 질량 또는 희박한 양의 정부호 매트릭스 복원 문제로 어떻게 확장되는가?
• RQ5 일반성 결과를 사용하여 동시에 구조화된 매트릭스(예: 낮은 질량 및 희박성)에 대한 날카운 임계값을 도출할 수 있는가?

주요 결과

• 완벽한 복원을 위해 필요한 최소 측정 수는 측정 벡터의 평균 벡터 $ \mu $ 와 공분산 행렬 $ \Sigma $ 에만 의존하며, 고차 모멘트에는 영향을 받지 않는다.
• 위상 복원에서 PhaseLift 알고리즘을 사용할 경우 정확한 계면 전이가 $ m = 3n $ 측정에서 발생함을 입증하여 오랫동안 미해결이었던 문제를 해결하였다.
• 이차 측정을 통해 질량 $ r $ 의 양의 정부호 매트릭스를 복원할 경우 계면 전이 임계값은 $ 3nr $ 로, 가우시안 측정의 알려진 임계값과 일치한다.
• 희박한 양의 정부호 매트릭스 복원에 $ \ell_1 $-노름 펜alty를 사용할 경우, 계면 전이 임계값은 Q-함수와 가우시안 밀도를 포함한 비선형 방정식에 의해 결정된다.
• 일반성 원리로부터 도출된 이론적 계면 전이 임계값은 낮은 질량 및 희박한 매트릭스 복원에 대한 시뮬레이션 결과와 정확히 일치한다.
• 일반성 결과는 동일한 1차 및 2차 통계를 가진 비가우시안 측정 모델을 분석하기 위해 기존의 CGMT 기반 가우시안 측정 프레임워크를 사용할 수 있도록 한다.