[論文レビュー] Exact asymptotics for phase retrieval and compressed sensing with random generative priors

Benjamin Aubin, Bruno Loureiro+3 more|arXiv (Cornell University)|Dec 4, 2019

Sparse and Compressive Sensing Techniques参考文献 19被引用数 12

ひとこと要約

本論文は、ランダムな重みと任意の活性化関数を備えた全結合型深層ニューラルネットワークを用いた、ランダムな深層生成的事前分布を用いた圧縮センシングおよび位相再構成の正確な漸近的性能限界を導出する。スパarsityが大きな統計的・アルゴリズム的ギャップを引き起こす一方で、深層生成的事前分布はこのギャップを顕著に低減し、情報理論的限界に近い領域ですら、圧縮位相再構成を実行可能にする。

ABSTRACT

We consider the problem of compressed sensing and of (real-valued) phase retrieval with random measurement matrix. We derive sharp asymptotics for the information-theoretically optimal performance and for the best known polynomial algorithm for an ensemble of generative priors consisting of fully connected deep neural networks with random weight matrices and arbitrary activations. We compare the performance to sparse separable priors and conclude that generative priors might be advantageous in terms of algorithmic performance. In particular, while sparsity does not allow to perform compressive phase retrieval efficiently close to its information-theoretic limit, it is found that under the random generative prior compressed phase retrieval becomes tractable.

研究の動機と目的

• 高次元領域におけるランダムな深層生成的事前分布を用いた圧縮センシングおよび位相再構成の情報理論的限界とアルゴリズム的限界を分析すること。
• 逆問題における生成的事前分布（ランダム重みを備えた深層ニューラルネットワーク）とスパース事前分布の間の統計的・アルゴリズム的ギャップを比較すること。
• ランダムな測定行列下での完全な信号再構成と効率的なアルゴリズム的再構成のための鋭い漸近的閾値を導出すること。
• ネットワークの深さとレイヤーごとの圧縮比が、これらの逆問題における信号再構成の実行可能性に与える影響を調査すること。

提案手法

• i.i.d. ガウス分布に従う重みと任意の活性化関数を備えた全結合型深層ニューラルネットワークのアンサンブルを生成的事前分布として用いる。
• 測定レート $ \alpha = n/d $ とレイヤーごとのアスペクト比 $ \beta_l = k_{l+1}/k_l $ を一定に保ちながら、$ n, d, k_l \to \infty $ の高次元極限を分析する。
• 統計物理学の手法、特にレプリカ法を用いて、情報理論的閾値 $ \alpha_{\text{IT}} $ とアルゴリズム的閾値 $ \alpha_{\text{alg}} $ の正確な漸近的特性を計算する。
• 圧縮センシング（$ \varphi(x) = x $）と位相再構成（$ \varphi(x) = |x| $）という2つの逆問題を、一般化線形推定として定式化する。
• 圧縮係数 $ \rho = k/d $、深さ $ L $、圧縮比 $ \beta_l $ の間の相互作用を示すフェーズダイアグラムを導出する。ここで $ \mathbf{z} \sim \mathcal{N}(0, I_k) $ であり、ReLU や線形活性化関数を用いる。
• 数値的および解析的漸近的解析を用いて、深さと圧縮に依存する統計的・アルゴリズム的ギャップ $ \Delta_{\text{alg}} = \alpha_{\text{alg}} - \alpha_{\text{IT}} $ を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな重みを備えた深層生成的事前分布において、信号再構成のための情報理論的閾値 $ \alpha_{\text{IT}} $ は、圧縮係数 $ \rho $ とレイヤーごとの圧縮比 $ \beta_l $ に対してどのようにスケーリングされるか？
• RQ2 ランダムな深層生成的事前分布を用いた圧縮センシングおよび位相再構成における統計的・アルゴリズム的ギャップ $ \Delta_{\text{alg}} $ の大きさはどの程度か？
• RQ3 ネットワークの深さ $ L $ を増加させることで、スパース事前分布と比較してアルゴリズム的ギャップはどのように変化するか？
• RQ4 生成的事前分布モデルは、特にスパarsityが失敗する位相再構成において、情報理論的限界に近い領域での効率的再構成を可能にするか？
• RQ5 活性化関数の選択（ReLU と線形）が、性能閾値とギャップの挙動に与える影響は何か？

主な発見

• ランダム重みを備えた深層生成的事前分布では、$ \beta_l \ll 1 $ が小さくなるほど情報理論的閾値 $ \alpha_{\text{IT}} $ が減少し、高い圧縮が再構成の可能性を高めることを示している。
• アルゴリズム的ギャップ $ \Delta_{\text{alg}} $ は $ \beta_l $ が小さくなると増加するが、特に $ \rho $ が小さい領域ではスパース事前分布と比較して顕著に小さい。
• ネットワークの深さ $ L $ を増加させることで、アルゴリズム的ギャップ $ \Delta_{\text{alg}} $ は単調に減少し、$ \beta = 2 $ を固定した場合でも深さが増すほどギャップが縮小する。
• スパース事前分布とは異なり、位相再構成において大きなアルゴリズム的ギャップを示すが、深層生成的事前分布は情報理論的限界に近い領域ですら、圧縮位相再構成を実行可能にする。
• $ \rho < 0.5 $ の領域では、$ \beta_l \ll 1 $ が小さくなると $ \alpha_{\text{IT}} $ は減少するが、アルゴリズム的ギャップは増加するため、圧縮とアルゴリズム的効率の間にはトレードオフがある。
• 結果は任意の活性化関数およびi.i.d. ガウス重み行列に対して成り立つが、数値的フェーズダイアグラムではReLUと線形活性化関数を具体的な例として用いている。