[論文レビュー] Universality in Learning from Linear Measurements

Ehsan Abbasi, Fariborz Salehi+1 more|arXiv (Cornell University)|Jun 20, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用数 9

ひとこと要約

本稿は、線形測定からの信号復元における普遍性の原則を確立する：構造的信号の完全復元に必要な最小測定数は、測定ベクトルの1次の統計（平均）および2次の統計（共分散）にのみ依存する。これにより、解析のための一般測定分布を同等のガウス分布に置き換えることができ、CGMTを用いた既存のツールにより、例えば位相リトリーブにおけるPhaseLiftの正確な段階転移閾値（3n測定）を明確に特定できる。

ABSTRACT

We study the problem of recovering a structured signal from independently and identically drawn linear measurements. A convex penalty function $f(\cdot)$ is considered which penalizes deviations from the desired structure, and signal recovery is performed by minimizing $f(\cdot)$ subject to the linear measurement constraints. The main question of interest is to determine the minimum number of measurements that is necessary and sufficient for the perfect recovery of the unknown signal with high probability. Our main result states that, under some mild conditions on $f(\cdot)$ and on the distribution from which the linear measurements are drawn, the minimum number of measurements required for perfect recovery depends only on the first and second order statistics of the measurement vectors. As a result, the required of number of measurements can be determining by studying measurement vectors that are Gaussian (and have the same mean vector and covariance matrix) for which a rich literature and comprehensive theory exists. As an application, we show that the minimum number of random quadratic measurements (also known as rank-one projections) required to recover a low rank positive semi-definite matrix is $3nr$, where $n$ is the dimension of the matrix and $r$ is its rank. As a consequence, we settle the long standing open question of determining the minimum number of measurements required for perfect signal recovery in phase retrieval using the celebrated PhaseLift algorithm, and show it to be $3n$.

研究の動機と目的

• 構造的信号を高確率で完全復元するための最小線形測定数を特定すること。
• 測定分布の高次モーメントが、平均と共分散を超えて復元閾値に影響を与えるかどうかを調査すること。
• 与えられた平均と共分散を持つ非ガウス測定ベクトルを、同じ平均と共分散を持つi.i.d.ガウスベクトルに置き換え可能な普遍性結果を確立すること。
• 2次測定、特に位相リトリーブおよび低ランク行列回復への普遍性原則の応用。
• 位相リトリーブにおけるPhaseLiftアルゴリズムの正確な段階転移閾値という長年の未解決問題を解消すること。

提案手法

• 信号復元を、罰則関数 $ f(\mathbf{x}) $ を最小化する凸最適化問題として定式化し、線形測定制約 $ \mathbf{a}_i^T\mathbf{x} = y_i $ を課す。
• 測定ベクトルがガウス分布に従う場合の最適化の漸近的挙動を、凸ガウス最小最大化定理（CGMT）を用いて分析する。
• 段階転移閾値が測定ベクトルの平均 $ \mu $ と共分散 $ \Sigma $ のみに依存し、高次モーメントには依存しないことを確立する。
• 与えられた $ \mu $ と $ \Sigma $ を持つ任意の測定分布に対して、その復元閾値が対応するi.i.d.ガウス測定アンサンブルのものと一致することを証明する。
• 測定を行列回復フレームワークに持ち上げることで、2次測定への普遍性結果の応用を図る（$ \mathbf{X}_0 = \mathbf{x}_0\mathbf{x}_0^T $ を用いる）。
• ガウス同等モデルを用いて、低ランク・スパース・同時に構造的を持つ行列などの特定構造に対する正確な段階転移閾値を導出する。

実験結果

リサーチクエスチョン

• RQ1 構造的信号の完全復元に必要な最小測定数は、測定ベクトルの1次および2次統計（平均と共分散）にのみ依存するか？
• RQ2 同じ平均と共分散を持つガウスアンサンブルを分析することで、非ガウス測定分布の復元閾値を特定できるか？
• RQ3 2次測定を用いた位相リトリーブにおけるPhaseLiftアルゴリズムの正確な段階転移閾値は何か？
• RQ4 低ランクまたはスパースな正定値行列のような構造的行列回復問題へ、普遍性原則はどのように拡張できるか？
• RQ5 同時に構造的を持つ行列（例：低ランクかつスパース）のための鋭い閾値を導出するために、普遍性結果を用いることができるか？

主な発見

• 完全復元に必要な最小測定数は、測定ベクトルの平均ベクトル $ \mu $ と共分散行列 $ \Sigma $ にのみ依存し、高次モーメントには依存しない。
• 位相リトリーブにおけるPhaseLiftアルゴリズムでは、正確な段階転移が $ m = 3n $ 測定で発生し、長年の未解決問題が解消された。
• 2次測定によるランク-$ r $ の正定値行列回復のための復元閾値は $ 3nr $ であり、ガウス測定における既知の閾値と一致する。
• スパースな正定値行列回復において $ \ell_1 $-ノルム罰則を用いる場合、Q関数とガウス密度を含む非線形方程式によって段階転移閾値が決定される。
• 普遍性原理から導かれた理論的段階転移は、低ランクおよびスパース行列回復の両方において、シミュレーション結果と一致する。
• 普遍性結果により、同じ1次および2次統計を持つ非ガウス測定モデルを分析する際、既存のCGMTベースのフレームワークをガウス測定モデルに適用できるようになる。