[論文レビュー] The basins of attraction of the global minimizers of non-convex inverse problems with low-dimensional models in infinite dimension

Traonmilin, Yann, Jean-Francois Aujol+1 more|arXiv (Cornell University)|Sep 18, 2020

Seismic Imaging and Inversion Techniques参考文献 74被引用数 16

ひとこと要約

この論文は、無限次元空間における低次元モデルを用いた非凸逆問題の理論的枠組みを確立し、グローバル最小化子の吸引域のサイズが測定数に比例することを示している。低ランク行列推定、オフ・ザ・グリッドスパイク回復、ガウス・ミクスチャ推定の回復保証を、制限等長性条件の下でパrameter化された勾配降下法によって統一的に扱う。

ABSTRACT

Non-convex methods for linear inverse problems with low-dimensional models have emerged as an alternative to convex techniques. We propose a theoretical framework where both finite dimensional and infinite dimensional linear inverse problems can be studied. We show how the size of the the basins of attraction of the minimizers of such problems is linked with the number of available measurements. This framework recovers known results about low-rank matrix estimation and off-the-grid sparse spike estimation, and it provides new results for Gaussian mixture estimation from linear measurements. keywords: low-dimensional models, non-convex methods, low-rank matrix recovery, off-the-grid sparse recovery, Gaussian mixture model estimation from linear measurements.

研究の動機と目的

• 無限次元空間における低次元モデルを用いた非凸逆問題を分析する統一的理論的枠組みを構築すること。
• 測定回数がグローバル最小化子の吸引域のサイズに与える影響を理解すること。
• 有限次元の場合（例：低ランク、スパース）の回復保証を、測度や分布などの無限次元モデルに拡張すること。
• 弱-*位相におけるパラメータ空間での勾配降下法の非凸最適化への適用を正当化すること。
• 線形測定からのガウス・ミクスチャ・モデル推定に対して、新たな理論的結果を提供すること。

提案手法

• 測定演算子 A を、双対空間 D* から C^m への弱-*連続写像として定式化する。
• 低次元信号集合 Σ を錐としてモデル化し、滑らかな写像 φ: R^d → D* を用いてパラメータ化する。
• パラメータ空間 θ ∈ R^d における勾配降下法を用いて、非凸最適化問題 min_{x∈Σ} ||Ax−y||²₂ を分析する。
• セカント集合 Σ−Σ における制限等長性（RIP）を仮定して回復保証を確立する。
• パラメータ空間における目的関数のヘッセ行列と曲率を分析することで、吸引域の境界を導出する。
• 本フレームワークを、低ランク行列回復、オフ・ザ・グリッドスパイク推定、ガウス・ミクスチャ推定の3つの主要な問題に適用する。

実験結果

リサーチクエスチョン

• RQ1 測定回数が非凸逆問題におけるグローバル最小化子の吸引域のサイズにどのように影響するか？
• RQ2 有限次元と無限次元の両設定において、非凸回復を統一的に分析する理論的枠組みを開発できるか？
• RQ3 パラメータ空間における勾配降下法が低次元モデルに対してグローバル最小化子に収束するための条件は何か？
• RQ4 目的関数の曲率とヘッセ行列が吸引域の幾何構造にどのように影響するか？
• RQ5 本フレームワークは、低ランクおよびオフ・ザ・グリッドスパイク回復の既知の結果を回復できるか、またガウス・ミクスチャのような新しいモデルへ拡張可能か？

主な発見

• グローバル最小化子の吸引域のサイズは、測定回数が増えるにつれて増大し、勾配降下法のより高いロバスト性を保証する。
• 本フレームワークは、統一的なRIPに基づく解析により、低ランク行列推定およびオフ・ザ・グリッドスパイク推定の既知の回復保証を回復する。
• ガウス・ミクスチャ推定の文脈では、同じパラメータ化された降下フレームワークを用いて、吸引域に対する新たな理論的境界を提供する。
• パラメータ化された目的関数のヘッセ行列が、真の解の近傍でゼロから離れていることが示され、局所的収束が保証される。
• 解析により、測定回数がモデル次元に対して十分に多い場合、パラメータ空間における勾配降下法が安定した回復を達成できることを確認した。
• 目的関数の勾配ノルムに対する下界が導出され、適切な測定条件下でグローバル最小化子が孤立しており、吸引可能であることが証明された。