[論文レビュー] Consistent Parameter Estimation for LASSO and Approximate Message Passing

Ali Mousavi, Arian Maleki+1 more|arXiv (Cornell University)|Nov 3, 2015

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、LASSOと近似メッセージパッシング（AMP）の漸近的解析を提供し、解のアクティブ集合のサイズおよび平均二乗誤差（MSE）が正則化パラメータλまたはしきい値パラメータτᵗに従って予測可能に変化することを示している。また、AMPのパラメータチューニングに対して計算的に効率的で漸近的に一貫性を持つ手法を提案し、最良のチューニングを施したLASSO解と同等の最適MSEを達成している。

ABSTRACT

We consider the problem of recovering a vector $β_o \in \mathbb{R}^p$ from $n$ random and noisy linear observations $y= Xβ_o + w$, where $X$ is the measurement matrix and $w$ is noise. The LASSO estimate is given by the solution to the optimization problem $\hatβ_λ = \arg \min_β \frac{1}{2} \|y-Xβ\|_2^2 + λ\| β\|_1$. Among the iterative algorithms that have been proposed for solving this optimization problem, approximate message passing (AMP) has attracted attention for its fast convergence. Despite significant progress in the theoretical analysis of the estimates of LASSO and AMP, little is known about their behavior as a function of the regularization parameter $λ$, or the thereshold parameters $τ^t$. For instance the following basic questions have not yet been studied in the literature: (i) How does the size of the active set $\|\hatβ^λ\|_0/p$ behave as a function of $λ$? (ii) How does the mean square error $\|\hatβ_λ - β_o\|_2^2/p$ behave as a function of $λ$? (iii) How does $\|β^t - β_o \|_2^2/p$ behave as a function of $τ^1, \ldots, τ^{t-1}$? Answering these questions will help in addressing practical challenges regarding the optimal tuning of $λ$ or $τ^1, τ^2, \ldots$. This paper answers these questions in the asymptotic setting and shows how these results can be employed in deriving simple and theoretically optimal approaches for tuning the parameters $τ^1, \ldots, τ^t$ for AMP or $λ$ for LASSO. It also explores the connection between the optimal tuning of the parameters of AMP and the optimal tuning of LASSO.

研究の動機と目的

• LASSOおよびAMPの解のアクティブ集合のサイズと平均二乗誤差（MSE）が正則化パラメータλまたはしきい値パラメータτᵗにどのように依存するかを理解すること。
• 特に高次元の漸近的状態において、LASSOおよびAMPにおけるパrameterチューニングの挙動に関する理論的理解の不足を解消すること。
• LASSOの最適性能に匹敵する、計算的に効率的で漸近的に一貫性を持つAMPのパラメータチューニング手法を開発すること。
• AMPの最適チューニングとLASSOの最適チューニングとの間の理論的関係を、漸近的極限において確立すること。

提案手法

• p → ∞ かつ n/p → δ ∈ (0,1) の極限において、LASSOおよびAMPの漸近的挙動を、確率的行列理論および漸近的統計解析を用いて分析する。
• アクティブ集合のサイズ‖β̂λ‖₀/p と λ との関数的依存関係、およびMSE ‖β̂λ − βₒ‖₂²/p と λ との関係を導出し、λにおけるMSEの準凸性を示す。
• MSEの漸近的挙動に基づき、AMPのしきい値パラメータτ¹, τ², ..., τᵗ を反復的にチューニングする修正バイセクション法を提案する。
• 状態推移フレームワークを用いてAMPのダイナミクスをモデル化し、漸近的にMSEを最小化する一貫性のあるチューニングルールを導出する。
• グリッドサーチ、マキシミン法、定数しきい値法と比較したシミュレーションを通じて、提案手法の収束速度および再構成精度を検証する。
• 提案されたチューニングに基づく最適AMP解が、最良のλを用いた最適LASSO解と同等のMSEを達成することを示している。

実験結果

リサーチクエスチョン

• RQ1 LASSO推定量におけるアクティブ集合のサイズ‖β̂λ‖₀/p は、正則化パラメータλの関数としてどのように変化するか？
• RQ2 平均二乗誤差‖β̂λ − βₒ‖₂²/p はλに従ってどのように変化するか。解析が示唆するように、それは準凸的であるか？
• RQ3 AMPにおける推定誤差‖βᵗ − βₒ‖₂²/p は、しきい値パラメータの系列τ¹, ..., τᵗ に従ってどのように変化するか？
• RQ4 AMPのしきい値パラメータτᵗ に対して、一貫性があり計算的に効率的なチューニングスキームを導出可能か？その結果、LASSOの最適性能に匹敵するか？
• RQ5 高次元の漸近的状態において、AMPの最適チューニングとLASSOの最適チューニングとの間には理論的関係があるか？

主な発見

• アクティブ集合のサイズ‖β̂λ‖₀/p はλの減少関数であり、LASSO正則化の直感的な期待と整合的である。
• 平均二乗誤差‖β̂λ − βₒ‖₂²/p はλに関して準凸関数であることが示され、MSEを最小化する一意の最適λが存在することを示唆している。
• 提案されたバイセクションに基づくAMPパラメータτᵗ のチューニングスキームは、マキシミン法や定数しきい値法と比較して、収束が速く、再構成誤差も小さい。
• 提案手法を用いたパラメータレスAMPは、最良のチューニングを施したLASSO解と同等の最適MSEを達成しており、理論的に同等の性能を示している。
• 提案手法はグリッドサーチに比べてはるかに少ない計算量で実行可能であり、収束速度および精度においてグリッドサーチおよびマキシミン法を上回っている。
• 本手法は信号のスパarsityおよびノイズ分散に適応し、さまざまな信号およびノイズ分布において最適MSEを達成するが、マキシミンAMPはノイズのない状況でのみ最適であるのと対照的である。