[論文レビュー] A Tight Bound of Hard Thresholding

Jie Shen, Ping Li|arXiv (Cornell University)|Apr 1, 2018

Sparse and Compressive Sensing Techniques被引用数 55

ひとこと要約

この論文は、ハードスレッショーディング作用素のタイトな理論的バインディングを確立し、非凸なスパース学習問題における新しい確率的ハードスレッショーディングアルゴリズムのグローバル線形収束を可能にする。このバインディングは、圧縮センシングにおける制限付き等長性性質（RIP）とスパース性を橋渡しし、測定効率を向上させ、より広い行列の適合性を実現する。

ABSTRACT

This paper is concerned with the hard thresholding operator which sets all but the $k$ largest absolute elements of a vector to zero. We establish a {\em tight} bound to quantitatively characterize the deviation of the thresholded solution from a given signal. Our theoretical result is universal in the sense that it holds for all choices of parameters, and the underlying analysis depends only on fundamental arguments in mathematical optimization. We discuss the implications for two domains: Compressed Sensing. On account of the crucial estimate, we bridge the connection between the restricted isometry property (RIP) and the sparsity parameter for a vast volume of hard thresholding based algorithms, which renders an improvement on the RIP condition especially when the true sparsity is unknown. This suggests that in essence, many more kinds of sensing matrices or fewer measurements are admissible for the data acquisition procedure. Machine Learning. In terms of large-scale machine learning, a significant yet challenging problem is learning accurate sparse models in an efficient manner. In stark contrast to prior work that attempted the $\ell_1$-relaxation for promoting sparsity, we present a novel stochastic algorithm which performs hard thresholding in each iteration, hence ensuring such parsimonious solutions. Equipped with the developed bound, we prove the {\em global linear convergence} for a number of prevalent statistical models under mild assumptions, even though the problem turns out to be non-convex.

研究の動機と目的

• ハードスレッショーディングされた解の真の信号からの逸脱を、普遍的かつタイトにバインドすること。
• 真のスパース性が不明な場合でも、圧縮センシングにおける制限付き等長性性質（RIP）の条件を改善すること。
• 大規模な機械学習におけるスパースでシンプルなモデルを保証するために、各イテレーションでハードスレッショーディングを実行する確率的アルゴリズムを開発すること。
• 導出されたバインディングを用いて、やや厳しい仮定のもとで非凸な統計的モデルにおけるグローバル線形収束を証明すること。

提案手法

• 基本的な最適化原理を用いて、ハードスレッショーディングされたベクトルが元の信号からどれほど逸れるかのタイトな数学的バインディングを導出する。
• このバインディングを応用し、圧縮センシングにおける制限付き等長性性質（RIP）とスパース性の関係を分析し、既存のRIP条件を精緻化する。
• ℓ1緩和に依存せずに、各イテレーションでハードスレッショーディングを適用する、画期的な確率的アルゴリズムを提案する。
• 理論的バインディングを用いて、やや厳しい仮定のもとで、さまざまな非凸な統計的モデルにおけるグローバル線形収束を証明する。
• 数学的根拠に基づいた最適化的議論を用いて、すべてのパrameter選択に対してバインディングの一般性とタイトさを保証する。
• バインディングが、センシング行列のよりタイトな分析を可能にし、データ取得におけるより多くの行列選択肢や、より少ない測定数を可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 真の信号からのハードスレッショーディング解の逸脱を、普遍的かつタイトにバインドする方法は何か？
• RQ2 真のスパース性が不明な場合、ハードスレッショーディングアルゴリズムに適した改善された制限付き等長性性質（RIP）条件は何か？
• RQ3 各イテレーションでハードスレッショーディングを実行する確率的アルゴリズムは、非凸なスパース学習問題においてグローバル線形収束を達成できるか？
• RQ4 提案されたバインディングは、圧縮センシングにおけるセンシング行列の適用性をどのように向上させるか？

主な発見

• すべてのパrameter選択に対して有効であり、基本的な最適化原理から導出された、タイトで普遍的なハードスレッショーディング逸脱バインディングが確立された。
• このバインディングにより、圧縮センシングにおけるRIP条件が改善され、データ取得におけるより多くのセンシング行列選択肢や、より少ない測定数が可能になった。
• 提案された確率的アルゴリズムは、ℓ1緩和に依存せず、最適化の全過程でスパース性を維持する。
• やや厳しい仮定のもとで、複数の非凸な統計的モデルにおけるグローバル線形収束が証明された。これは、問題の非凸性を考慮すると、顕著な成果である。
• 理論的枠組みは、スパース性が不明な場合でも、ハードスレッショーディングアルゴリズムが従来の理解をはるかに上回るロバスト性と効率性を持つことを明らかにした。