[論文レビュー] Hadamard Wirtinger Flow for Sparse Phase Retrieval

Fan Wu, Patrick Rebeschini|arXiv (Cornell University)|Jun 1, 2020

Advanced X-ray Imaging Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、スパース位相再構成のための二段階勾配ベース手法として、Hadamard Wirtinger Flow (HWF) を提案する。Hadamardパラメータ化を用いることで、$\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$ のサンプル数でサポートの回復が可能となり、信号に大きな成分が存在する場合には $k$ に対して線形のサンプル複雑性を達成する。HWF は明示的な正則化やスパース性の知識を必要とせず、信号のスパース性に適応可能であり、従来の勾配法よりもサンプル効率に優れ、パラメータ化のおかげで部分線形に収束する。

ABSTRACT

We consider the problem of reconstructing an $n$-dimensional $k$-sparse signal from a set of noiseless magnitude-only measurements. Formulating the problem as an unregularized empirical risk minimization task, we study the sample complexity performance of gradient descent with Hadamard parametrization, which we call Hadamard Wirtinger flow (HWF). Provided knowledge of the signal sparsity $k$, we prove that a single step of HWF is able to recover the support from $k(x^*_{max})^{-2}$ (modulo logarithmic term) samples, where $x^*_{max}$ is the largest component of the signal in magnitude. This support recovery procedure can be used to initialize existing reconstruction methods and yields algorithms with total runtime proportional to the cost of reading the data and improved sample complexity, which is linear in $k$ when the signal contains at least one large component. We numerically investigate the performance of HWF at convergence and show that, while not requiring any explicit form of regularization nor knowledge of $k$, HWF adapts to the signal sparsity and reconstructs sparse signals with fewer measurements than existing gradient based methods.

研究の動機と目的

• 従来の非凸最適化手法が、サポート回復のボトルネックにより通常 $\mathcal{O}(k^2 \log n)$ 測定を必要とするため、スパース位相再構成における高いサンプル複雑性に対処すること。
• $k$ や明示的なしきい値処理の事前知識が不要な、シンプルで正則化なしのアルゴリズムを設計すること。
• 初期サポート検出とその後の勾配降下による信号再構成という、新規な二段階アプローチを活用することで、サンプル複雑性を $\mathcal{O}(k \log n)$ まで改善すること。
• 提案手法の理論的および実験的性能、特に収束挙動と確率的初期化下でのロバストネスを分析すること。

提案手法

• HWF は二段階の手続きを採用する：まず、単一の勾配更新により、単純な初期化のもとでサポート上の1つの座標を推定し、複雑なスペクトル的または直交性を促進するスキームを回避する。
• 第二に、Hadamard パラメータ化 $\mathbf{X} = \mathbf{U} \odot \mathbf{V}$ を用いた非正則化された経験的リスクに対する勾配降下法を適用する。ここで $\mathbf{U}, \mathbf{V} \in \mathbb{R}^n$ は最適化変数である。
• このパラメータ化により、非活性な座標（$x^*_i = 0$）が最適化過程で $U^t_i$ もしくは $V^t_i$ がゼロに近づくにつれて自然にゼロに近づき、スパース性が暗黙的に促進される。
• 勾配更新は Wirtinger フローの原則に基づき導出され、更新則 $\nabla_{\mathbf{u}} F(\mathbf{U}^t, \mathbf{V}^t) = 2 \nabla F(\mathbf{X}^t) \odot \mathbf{U}^t$ が得られ、非サポート座標の勾配がより速く減少する。
• 本手法は実数および複素数の両設定でテストされ、数値実験により、確率的初期化と提案された初期化（式 4）の下での収束性が比較されている。

実験結果

リサーチクエスチョン

• RQ1 Hadamard パラメータ化を用いた単一ステップの勾配降下法は、$\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$ のサンプル数で $k$-スパース信号のサポートを回復できるか？
• RQ2 HWF に明示的な正則化やスパース性の知識がない場合、スパース性の適応的推定と改善されたサンプル複雑性が達成されるか？
• RQ3 SPARTA や SWF といった既存手法と比較して、HWF の収束挙動はどのように異なるか、特に確率的初期化下で。
• RQ4 信号に大きな成分が含まれる場合、$k$ についての線形サンプル複雑性を達成できるか、かつ $k$ の事前知識がなくても可能か？

主な発見

• HWF の1ステップは、$\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$ のサンプル数で $k$-スパース信号のサポートを回復可能であり、$x^*_{\text{max}}$ がゼロから離れている場合には $\mathcal{O}(k \log n)$ に簡略化される。
• SPARTA などの既存の再構成アルゴリズムと組み合わせると、HWF はデータの読み取りコストに比例する総実行時間となり、有利な信号条件下で $\mathcal{O}(k \log n)$ のサンプル複雑性を達成する。
• HWF は SPARTA や SWF よりも低いサンプル複雑性を示し、実験的状況では PR-GAMP と同等の性能を示す。
• アルゴリズムはパラメータ化のおかげで部分線形収束を示し、特に確率的初期化では初期段階に誤差の plateau が観察されるが、非サポート座標の勾配が速やかに減少する。
• 数値結果により、HWF は明示的な正則化や $k$ の知識がなくても、実数および複素数の両方のスパース信号を効果的に再構成でき、真のスパース性レベルに適応することが確認された。