[論文レビュー] Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing

Jian‐Feng Cai, Suhui Liu+1 more|arXiv (Cornell University)|Jul 14, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、スペクトル的にスパースな信号の高次元的かつ効率的な復元を目的として、非均等な時間領域サンプルからの少数からの復元に向けた、Projected Wirtinger Gradient Descent (PWGD) およびその FISTA 加速版を提案する。問題を低ランクのハノイク行列補完問題として定式化し、O(NR) のメモリを要する実行可能点法を活用することで、グローバル収束性を達成し、高次元信号へのスケーラビリティを実現。凸緩和法（例：EMaC）に比べて高速かつスケーラブルである。

ABSTRACT

This paper considers reconstructing a spectrally sparse signal from a small number of randomly observed time-domain samples. The signal of interest is a linear combination of complex sinusoids at $R$ distinct frequencies. The frequencies can assume any continuous values in the normalized frequency domain $[0,1)$. After converting the spectrally sparse signal recovery into a low rank structured matrix completion problem, we propose an efficient feasible point approach, named projected Wirtinger gradient descent (PWGD) algorithm, to efficiently solve this structured matrix completion problem. We further accelerate our proposed algorithm by a scheme inspired by FISTA. We give the convergence analysis of our proposed algorithms. Extensive numerical experiments are provided to illustrate the efficiency of our proposed algorithm. Different from earlier approaches, our algorithm can solve problems of very large dimensions very efficiently.

研究の動機と目的

• 連続周波数を有するスペクトル的にスパースな信号を、限られた時間領域サンプルから回復する課題に対処すること。
• 高次元信号に対して計算が非効率な、凸最適化に基づく低ランク行列補完法の限界を克服すること。
• 内部点法の O(N²) のメモリと O(N⁴) のヘッセ行列計算を回避する、スケーラブルな一次元アルゴリズムを構築すること。
• 従来の手法がメモリ制限により失敗するような、実用的かつ高次元信号（例：N > 2500）の復元を可能にすること。
• FISTA にインspiredされたスキームにより、グローバル収束保証を維持したまま収束を加速すること。

提案手法

• 信号の自己相関構造を活用して、スペクトル的にスパースな信号の復元問題を低ランクハノイク行列補完問題として定式化する。
• ワイアーティング微分を用いてデータ適合項を反復的に最小化する、実行可能点法としての Projected Wirtinger Gradient Descent (PWGD) を提案する。
• 各反復で特異値しきい値処理を適用して低ランク構造を強制し、解が実行可能であることを保証する。
• モーメンタムと適応的ステップサイズを用いて収束を加速する、FISTA に類似した加速スキームを導入する。
• 正確なラインサーチを用いたプロジェクション勾配更新により、各ステップで目的関数が十分に減少することを保証する。
• 低ランクおよびハノイク構造を活用することで、全行列の保存を避けて O(NR) のメモリ複雑度を維持する。

実験結果

リサーチクエスチョン

• RQ1 非凸的一次元手法が、大規模なスペクトル的にスパースな信号復元において、凸緩和に基づく行列補完法を上回ることができるか？
• RQ2 低ランク制約を課したプロジェクションワイアーティング勾配降下法が、ハノイク行列補完問題に対してグローバル収束を達成できるか？
• RQ3 FISTA スタイルの加速が、正確性を損なわずに収束に必要な反復回数を著しく削減できるか？
• RQ4 サンプル数とスパースネスの観点から、成功した復元の経験的フェーズ遷移挙動はどのようなものか？
• RQ5 提案手法は、EMaC や CVX といった凸ソルバーと比較して、信号次元の増大に伴いどのようにスケーリングするか？

主な発見

• PWGD アルゴリズムは、M ≈ 2R 個のサンプルからもスペクトル的にスパースな信号を復元可能であり、閾値を超えるサンプル数で信頼できる復元が示されるフェーズ遷移を示す。
• N = 2501 の場合、R = 13 および M = 500 の条件下で、PWGD アルゴリズムは133秒で信号復元を完了したが、EMaC はメモリ不足のため失敗した。
• PWGD-FISTA のバージョンは、同等の精度に到達するまでに標準的な PWGD に比べて反復回数の約2/3にまで短縮され、顕著な加速効果が確認された。
• M が各 R に対して臨界閾値を超えると、100回のモンテカルロ試行すべてで相対復元誤差が 5×10⁻³ 未満に保たれ、ロバストネスが裏付けられた。
• N = 5001、R = 31、M = 2000 の条件下でも、403秒で復元を完了し、非常に高次元の問題に対しても実行可能であることが示された。
• 非凸最適化における Attouch と Bolte の枠組みに従い、Kurdyka–Łojasiewicz 性質を有する問題に対して理論的収束性が確立された。