[論文レビュー] Parameterless Optimal Approximate Message Passing

Ali Mousavi, Arian Maleki+1 more|arXiv (Cornell University)|Oct 31, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 30

ひとこと要約

本稿では、スティンの不偏リスク推定（SURE）と勾配降下法を用いてしきい値パラメータを自動的にチューニングする、パラメータフリーの最適近似メッセージパッシング（AMP）アルゴリズムを提案する。この手法により、信号に関するユーザーの入力や事前知識が不要な状況でも、最小の再構成誤差と最速の収束速度を達成する。理論的裏付けが与えられ、中程度の問題サイズに対しても実験的に有効である。

ABSTRACT

Iterative thresholding algorithms are well-suited for high-dimensional problems in sparse recovery and compressive sensing. The performance of this class of algorithms depends heavily on the tuning of certain threshold parameters. In particular, both the final reconstruction error and the convergence rate of the algorithm crucially rely on how the threshold parameter is set at each step of the algorithm. In this paper, we propose a parameter-free approximate message passing (AMP) algorithm that sets the threshold parameter at each iteration in a fully automatic way without either having an information about the signal to be reconstructed or needing any tuning from the user. We show that the proposed method attains both the minimum reconstruction error and the highest convergence rate. Our method is based on applying the Stein unbiased risk estimate (SURE) along with a modified gradient descent to find the optimal threshold in each iteration. Motivated by the connections between AMP and LASSO, it could be employed to find the solution of the LASSO for the optimal regularization parameter. To the best of our knowledge, this is the first work concerning parameter tuning that obtains the fastest convergence rate with theoretical guarantees.

研究の動機と目的

• 近似メッセージパッシング（AMP）アルゴリズムにおける手動によるしきい値パラメータチューニングの必要性を排除すること。
• AMPを用いた信号再構成において、可能な限り最小の平均二乗誤差（MSE）を達成すること。
• 信号に関する事前知識がなくても、AMPの収束速度を最速に保証すること。
• 理論的根拠があり、実験的に有効な、完全に自動的かつユーザー不要なAMPチューニング機構の開発

提案手法

• 各反復において、AMP出力のリスク（MSE）を推定するためにスティンの不偏リスク推定（SURE）を用いる。
• 推定リスクを最小化するための修正版勾配降下法を適用し、各反復における最適なしきい値パラメータを特定する。
• 真の信号の知識を必要とせずに、SUREに基づくリスク推定の勾配に基づいてしきい値パラメータを反復的に更新する。
• アルゴリズムは、MSEを最小化するとともに収束速度を最大化する最適なしきい値に収束するように設計されている。
• AMPとLASSOの漸近的同値性を活用し、LASSOの最適正則化パラメータを間接的に特定する。
• ステップサイズパラメータ $\Delta_N$ の選択に強く依存せず、広い範囲の値で安定した性能を示す。

実験結果

リサーチクエスチョン

• RQ1 信号に関する事前知識がなくても、AMPが可能な限り最小の再構成誤差を達成できるか？
• RQ2 自動的しきい値チューニングによって、AMPの収束速度を最適化できるか？
• RQ3 ユーザーの干渉なしで最適な性能を達成するパラメータフリーAMPアルゴリズムを設計できるか？
• RQ4 しきい値選択にSUREと勾配降下法を用いる手法と、オラクルチューニングされたAMPとの比較において、どのような差異が生じるか？
• RQ5 提案手法はステップサイズパラメータ $\Delta_N$ の変動に対してどれほど頑健か？

主な発見

• 提案手法は、オラクルチューニングされたAMPと同等の、AMPで達成可能な最小の平均二乗誤差（MSE）を達成する。
• 固定しきち値ポリシーを用いるAMPのすべての変種の中で、最も速い収束速度を保証する。
• アルゴリズムから推定された最適しきい値 $\hat{\tau}_{\text{opt}}$ は、グリッド上の値を全探索して得た真の $\tau_{\text{opt}}$ に非常に近い。
• 中程度の問題サイズに対しても良好に動作し、$N=1000$ でもリスク推定が正確で、良好な性能を示す。
• ステップサイズパラメータ $\Delta_N$ の変動に対して頑健であり、$0.1\Delta_0$ から $10\Delta_0$ の広い範囲の値で安定した性能を示す。
• 実験結果から、勾配降下法でチューニングされたAMPの収束速度は、固定$\tau_{\text{opt}}$バージョンと同等であり、最終的なMSEもほとんど同一であることが示された。