[論文レビュー] Thresholding gradient methods in Hilbert spaces: support identification and linear convergence

Guillaume Garrigos, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Dec 1, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用数 5

ひとこと要約

本稿は、作用素 $A$ や問題構造に関する仮定を必要とせず、分離可能なヒルバート空間における $β^{1}$-正則化最小二乗問題に対して、反復的ソフトスレッショングアルゴリズム（ISTA）の線形収束を確立する。主な洞察は、ISTAが有限反復内で解の拡張されたサポートを特定することにあり、その後、目的関数が有限次元部分空間上で一様に条件付けられるようになる。これにより、条件付けの性質を用いて線形収束が可能になる。

ABSTRACT

We study $\\ell^1$ regularized least squares optimization problem in a separable Hilbert space. We show that the iterative soft-thresholding algorithm (ISTA) converges linearly, without making any assumption on the linear operator into play or on the problem. The result is obtained combining two key concepts: the notion of extended support, a finite set containing the support, and the notion of conditioning over finite dimensional sets. We prove that ISTA identifies the solution extended support after a finite number of iterations, and we derive linear convergence from the conditioning property, which is always satisfied for $\\ell^1$ regularized least squares problems. Our analysis extends to the the entire class of thresholding gradient algorithms, for which we provide a conceptually new proof of strong convergence, as well as convergence rates.

研究の動機と目的

• ヒルバート空間におけるスレッショニング勾配法の強収束および線形収束速度を幾何的観点から説明すること。
• 作用素 $A$ に関する単射性や非退化性の仮定を必要としない状況で、ISTAの線形収束が成立する条件を同定すること。
• 拡張されたサポートの概念を導入することで、有限次元および無限次元の収束解析を統一すること。
• 全スレッショニング勾配アルゴリズムクラスに対して、強収束および収束速度の新たな証明を提供すること。

提案手法

• 真のサポートを含む有限集合である拡張されたサポートの概念を導入し、ISTAが有限反復内でこれを同定することを示す。
• 有限次元部分空間における $p$-条件付けの概念を用いて、線形収束速度を確立する。
• 文献[20]の条件付けに関する和則を適用し、個別に条件付けられる成分に目的関数を分解する。
• モレウの恒等式および部分微分法を用いて、前向き・後ろ向きフレームワークにおけるプロキシマルステップを分析する。
• サポート同定を用いて、無限次元問題を、その後の良好な幾何構造が線形収束を保証する有限次元問題に還元する。
• ISTAの反復が有限時間内にサポート同定を完了した後、有限次元部分空間に留まることを証明し、強収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 作用素 $A$ に関する仮定を必要とせず、ヒルバート空間における $β^{1}$-正則化最小二乗問題に対して、ISTAの線形収束を確立できるか？
• RQ2 反復的ソフトスレッショングアルゴリズムは、有限反復内で解の拡張されたサポートを同定するか？
• RQ3 有限次元および無限次元設定の両方において、スレッショニング勾配法の収束速度を一様に分析できるか？
• RQ4 ヒルバート空間におけるISTAの強収束は、有限次元サポート同定およびその後の条件付けの結果であるか？
• RQ5 非退化性や単射性の仮定がなくても、拡張されたサポートが線形収束を可能にする役割は何か？

主な発見

• ISTAは、作用素 $A$ に依存せず、有限反復内で解の拡張されたサポートを同定する。
• サポート同定後、目的関数は有限次元部分空間上で $2$-条件付けられるようになり、線形収束が保証される。
• $β^{1}$-正則化最小二乗問題に対して、任意の分離可能なヒルバート空間で、ISTAの線形収束が保証される。
• 収束速度は線形であり、識別された有限次元部分空間における問題の条件付けにのみ依存する。
• 解析は、$\ell^{p}$ ペナルティを伴うエラスティック・ネット正則化へと拡張可能であり、収束速度は $p \in (1, \infty)$ に依存する。
• 有限時間内にサポート同定と有限次元の条件付けを経由することで、スレッショニング勾配法の強収束に対する新たな証明が確立された。