[論文レビュー] Phase Retrieval Under a Generative Prior

Paul Hand, Oscar Leong+1 more|arXiv (Cornell University)|Jul 11, 2018

Advanced X-ray Imaging Techniques参考文献 2被引用数 16

ひとこと要約

本稿は、深層生成モデルを事前分布として用いる新しい位相再構成フレームワークを提案する。信号の回復に際して、潜在空間における最適化を実施し、情報理論的に最適なサンプル複雑度を達成する。$ m = O(kd^2\log n) $ 測定値を用いる場合、弱い条件下でも勾配法がグローバルに収束することを証明しており、従来の $ \ell_1 $-ベースのスパース再構成手法を上回る性能を示す。

ABSTRACT

The phase retrieval problem asks to recover a natural signal $y_0 \in \mathbb{R}^n$ from $m$ quadratic observations, where $m$ is to be minimized. As is common in many imaging problems, natural signals are considered sparse with respect to a known basis, and the generic sparsity prior is enforced via $\ell_1$ regularization. While successful in the realm of linear inverse problems, such $\ell_1$ methods have encountered possibly fundamental limitations, as no computationally efficient algorithm for phase retrieval of a $k$-sparse signal has been proven to succeed with fewer than $O(k^2\log n)$ generic measurements, exceeding the theoretical optimum of $O(k \log n)$. In this paper, we propose a novel framework for phase retrieval by 1) modeling natural signals as being in the range of a deep generative neural network $G : \mathbb{R}^k ightarrow \mathbb{R}^n$ and 2) enforcing this prior directly by optimizing an empirical risk objective over the domain of the generator. Our formulation has provably favorable global geometry for gradient methods, as soon as $m = O(kd^2\log n)$, where $d$ is the depth of the network. Specifically, when suitable deterministic conditions on the generator and measurement matrix are met, we construct a descent direction for any point outside of a small neighborhood around the unique global minimizer and its negative multiple, and show that such conditions hold with high probability under Gaussian ensembles of multilayer fully-connected generator networks and measurement matrices. This formulation for structured phase retrieval thus has two advantages over sparsity based methods: 1) deep generative priors can more tightly represent natural signals and 2) information theoretically optimal sample complexity. We corroborate these results with experiments showing that exploiting generative models in phase retrieval tasks outperforms sparse phase retrieval methods.

研究の動機と目的

• スパース信号に対して $ O(k^2\log n) $ 測定値を必要とする $ \ell_1 $-正則化位相再構成の根本的なサンプル複雑度の制限を克服すること。
• 自然信号を深層生成ネットワークの出力としてモデル化する新しい位相再構成フレームワークを開発し、より緊密な表現と低い測定要件を実現すること。
• 一般的な測定集合において、生成モデルの潜在空間における勾配ベース最適化のための、証明可能なグローバル収束保証を確立すること。
• 提案手法が情報理論的に最適なサンプル複雑度 $ O(kd^2\log n) $ を達成することを示すこと。ここで $ d $ はネットワークの深さを表す。

提案手法

• 位相再構成を潜在空間最適化問題として定式化：$ G $ を深層ReLUベースの生成モデルとするとき、$ x \in \mathbb{R}^k $ における $ \frac{1}{2}\| |AG(x)| - |AG(x_0)| \|^2 $ の最小化。
• 深層ニューラルネットワーク $ G: \mathbb{R}^k \to \mathbb{R}^n $ の出力範囲に制限を課すことで生成事前分布を導入。$ d $ 層の全結合重みとReLU活性化関数でパラメータ化される。
• 真の最小化点およびその負の点の小さな近傍以外の任意の点から、経験的リスク目的関数が勾配降下方向を持つ条件を決定的条件下で確立。
• 生成モデルの重みが i.i.d. $ \mathcal{N}(0,1/n_i) $ で、測定行列 $ A $ が i.i.d. $ \mathcal{N}(0,1/m) $ の場合、これらの条件が高確率で成り立つことを証明。
• 生成モデルのヤコビアンの像上での $ A^\top A $ の期待値からの逸脱を制御するため、制限付き範囲集中性質（RRCP）を用いる。
• 最適化の安定性を保証するため、$ Av $ の符号パターンの数を制限するための一様制限付き集中性質（RCP）を適用。

実験結果

リサーチクエスチョン

• RQ1 深層生成事前分布は、情報理論的に最適なサンプル複雑度を達成する位相再構成を可能にするか？
• RQ2 生成モデルの潜在空間における経験的リスク目的関数は、勾配降下法に有利なグローバル幾何構造を持つか？
• RQ3 生成モデルと測定行列にどのような条件下で、目的関数が非解点から勾配降下方向を持つのか？
• RQ4 提案フレームワークは、サンプル効率および再構成精度の面で、従来の $ \ell_1 $-ベースのスパース位相再構成を上回るか？

主な発見

• 提案された深層位相再構成（DPR）フレームワークは、ネットワークの深さ $ d $ と潜在次元 $ k $ を用いて、情報理論的に最適なサンプル複雑度 $ O(kd^2\log n) $ を達成する。
• 高確率で、真の潜在コード $ x_0 $ 及びその負の点の小さな近傍以外の任意の点から、経験的リスク目的関数が勾配降下方向を持つ。これは、ガウス分布を用いた生成モデルと測定行列の下で成り立つ。
• 生成モデルの重みと測定行列が i.i.d. ガウス分布の場合、有利な幾何構造をもたらすための決定的条件が高確率で成立し、勾配法のグローバル収束が保証される。
• 実験では、$ \ell_1 $-ベースのスパース位相再構成を上回り、より緊密な信号表現と低い測定要件を示した。
• 解析により、$ k $ 次元部分空間に属する $ v $ に対する $ Av $ の符号パターンの数が $ O(m^{2k}) $ で抑えられることを示し、最適化の安定性を制御できることが分かった。