[論文レビュー] The basins of attraction of the global minimizers of the non-convex sparse spike estimation problem

Yann Traonmilin, Jean–François Aujol|arXiv (Cornell University)|Nov 29, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用数 28

ひとこと要約

本稿は、非凸なスパーススパイク推定問題を、非凸汎関数のグローバルミニマムの周囲の吸引域を特徴付けることで分析している。制限等方性性（RIP）条件がカーネル距離に基づいて満たされている場合、グローバルミニマムには明確に定義された吸引域があり、測定回数が増えるにつれてその領域が拡大する。これにより、勾配ベースおよびグリーディなアルゴリズムに対する理論的回復保証が得られる。

ABSTRACT

The sparse spike estimation problem consists in estimating a number of off-the-grid impulsive sources from under-determined linear measurements. Information theoretic results ensure that the minimization of a non-convex functional is able to recover the spikes for adequately chosen measurements (deterministic or random). To solve this problem, methods inspired from the case of finite dimensional sparse estimation where a convex program is used have been proposed. Also greedy heuristics have shown nice practical results. However, little is known on the ideal non-convex minimization method. In this article, we study the shape of the global minimum of this non-convex functional: we give an explicit basin of attraction of the global minimum that shows that the non-convex problem becomes easier as the number of measurements grows. This has important consequences for methods involving descent algorithms (such as the greedy heuristic) and it gives insights for potential improvements of such descent methods.

研究の動機と目的

• 非凸なスパーススパイク推定問題におけるグローバルミニマムの幾何的構造を理解すること。
• 吸引域の分析を通じて、勾配ベースの手法（例えばグリーディヒューリスティクス）の理論的回復保証を確立すること。
• 測定演算子の制限等方性性（RIP）をカーネル距離の下で、グローバルミニマムにおけるヘッセ行列の条件数と結びつけること。
• パラメータ空間（スパイクの振幅および位置）における吸引域の大きさを定量化し、測定回数の増加に伴いその領域が拡大することを示すこと。
• スーパーレゾリューションおよび圧縮センシングにおけるグリーディおよび降下ベースのアルゴリズムの改善の理論的基盤を提供すること。

提案手法

• スパイクが $\epsilon$-分離されている $k$ スパイク測度の低次元多様体 $\Sigma_{k,\epsilon}$ 上で、$\|Ax - y\|_2^2$ の二乗誤差を最小化する形でスパーススパイク推定問題をモデル化する。
• 測定演算子 $A$ の制限等方性性（RIP）を定義するため、カーネル誘導距離 $\|\cdot\|_h$ を導入し、これにより安定回復が保証される。
• グローバルミニマムにおける目的関数のヘッセ行列を分析し、その条件数を吸引域の幾何的性質と関連付ける。
• RIP定数、$\gamma$、$\mu$、およびカーネル関数 $\rho$ の二階微分を用いて、パラメータ空間における吸引域の半径 $\beta$ の明示的評価を導出する。
• 中間値の定理および連続性の議論を用いて、二つの $\epsilon$-分離スパイク配置を結ぶ任意の経路が、可解集合 $\Theta_{k,\epsilon}$ 内に留まることを示す。
• 三角不等式およびカーネル距離におけるノルムの上限を用いて、差 $\|\phi(\theta) - \phi(\theta^*)\|_h$ を制御し、収束の十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸なスパーススパイク推定問題におけるグローバルミニマムの周囲の吸引域の大きさと形状は何か？
• RQ2 測定回数の増加が、吸引域の大きさにどのように影響するか？
• RQ3 カーネル距離の下での制限等方性性（RIP）は、グローバルミニマムにおけるヘッセ行列の条件数と結びつけられるか？
• RQ4 勾配降下法またはグリーディ手法がグローバルミニマムに収束する条件は何か？
• RQ5 振幅の分離とスパイクの分離は、吸引域の安定性および大きさにどのように影響するか？

主な発見

• グローバルミニマムの吸引域は、パラメータ空間（振幅および位置）の観点から明示的に特徴付けられており、測定回数 $m$ が増加するにつれて半径 $\beta$ が増大する。
• 吸引域の大きさは、RIP定数 $\gamma$、$\mu$、カーネル関数の二階微分 $\rho''(0)$、および振幅 $a_i$ を含む条件によって上限で制限される。
• 以下を満たす場合、$\beta \leq \frac{(1-\gamma)(1-(k-1)\mu)\min(1, |a_1|^2 |\rho''(0)|/4)}{(d+1)\sqrt{1+\gamma}\sqrt{1+(k-1)\mu}\max(|a_k|\sqrt{m}D_{A,R}, \sqrt{1+\gamma}\sqrt{|\rho''(0)|})(1+\sqrt{1+2|\rho''(0)|\|a^*\|_2^2})}$、グローバルミニマムはその領域内で一意の最小化子であることが保証される。
• 測定回数の増加に伴い吸引域が拡大することが示され、$m$ が増加するにつれて非凸問題が降下法による解法が容易になる。
• 本分析により、グリーディアルゴリズムの経験的成功の理論的裏付けが得られる：初期値が吸引域内にある限り、グローバルミニマムへの収束が保証される。
• 結果として、カーネル距離 $\|\cdot\|_h$ がRIPおよび安定回復に不可欠であり、自然な全 Variation 距離は有限フーリエ測定ではRIPを支持しないことが示された。