[論文レビュー] Between hard and soft thresholding: optimal iterative thresholding algorithms

Haoyang Liu, Rina Foygel Barber|arXiv (Cornell University)|Apr 24, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用数 9

ひとこと要約

本稿では、相対的凸性と呼ばれる新たな指標を最適化することで、従来のハードおよびソフトスレッショーディングより優れた性能を示す反復的スレッショーディングアルゴリズムの新クラスを導入する。提案された逆数スレッショーディングおよびℓqスレッショーディング（q ∈ (0,1)）は、スパース線形回帰において最適な収束保証を達成し、条件数κにより良い依存関係を示すLassoの予測誤差境界と一致する。

ABSTRACT

Iterative thresholding algorithms seek to optimize a differentiable objective function over a sparsity or rank constraint by alternating between gradient steps that reduce the objective, and thresholding steps that enforce the constraint. This work examines the choice of the thresholding operator, and asks whether it is possible to achieve stronger guarantees than what is possible with hard thresholding. We develop the notion of relative concavity of a thresholding operator, a quantity that characterizes the worst-case convergence performance of any thresholding operator on the target optimization problem. Surprisingly, we find that commonly used thresholding operators, such as hard thresholding and soft thresholding, are suboptimal in terms of worst-case convergence guarantees. Instead, a general class of thresholding operators, lying between hard thresholding and soft thresholding, is shown to be optimal with the strongest possible convergence guarantee among all thresholding operators. Examples of this general class includes $\ell_q$ thresholding with appropriate choices of $q$, and a newly defined {\em reciprocal thresholding} operator. We also investigate the implications of the improved optimization guarantee in the statistical setting of sparse linear regression, and show that this new class of thresholding operators attain the optimal rate for computationally efficient estimators, matching the Lasso.

研究の動機と目的

• スパース最適化における最悪ケース収束保証がハードまたはソフトスレッショーディングを上回るスレッショーディング作用素を特定すること。
• 任意のスレッショーディング作用素の性能を、微分可能でスパース制約付きの最適化問題の広いクラスにおいて特徴付ける理論的枠組み「相対的凸性」を構築すること。
• 最悪ケース収束に関して最適または準最適な収束保証を達成する、逆数スレッショーディングやℓqスレッショーディングを含む新クラスのスレッショーディング作用素を設計すること。
• これらの新しい作用素が、スパース線形回帰においてLassoと同等の統計的予測誤差率を達成することを示すこと。

提案手法

• 反復的スパース最適化における任意のスレッショーディング作用素の最悪ケース収束性能を評価する指標として「相対的凸性」の概念を導入する。
• ハードスレッショーディングとソフトスレッショーディングの間にある一般化されたスレッショーディング作用素のクラスを定義し、q ∈ (0,1) のℓqスレッショーディングおよび新たに提案された逆数スレッショーディング作用素を含む。
• 制限付き強い凸性および滑らかさの仮定の下で、この作用素クラスが、すべてのスレッショーディング作用素の中で最も強い収束保証を達成できることを証明する。
• これらの作用素を用いた反復的スレッショーディングアルゴリズムの収束バウンドを導出し、ハードスレッショーディングと比較して条件数κへの依存が改善されることを示す。
• フレームワークをスパース線形回帰に適用し、新しいアルゴリズムがLassoと同等の予測誤差率を達成することを証明する。
• 逆数スレッショーディング作用素が閉形式の更新式を持つことの実装効率を示す。

実験結果

リサーチクエスチョン

• RQ1 スパース最適化における最悪ケース収束性能に基づいて、スレッショーディング作用素を体系的に評価・比較可能か？
• RQ2 スパース制約付き最小化において、ハードスレッショーディングまたはソフトスレッショーディングは収束保証の観点で最適か？
• RQ3 ハードスレッショーディングおよびソフトスレッショーディングを上回る収束速度を達成する、新たなスレッショーディング作用素のクラスを構築可能か？
• RQ4 これらの新しい作用素は、スパース線形回帰においてLassoと同等の統計的性能を達成するか？
• RQ5 逆数スレッショーディング作用素は、強力な理論的保証を持つ既存のスレッショーディング手法の実用的で効率的な代替手段か？

主な発見

• スレッショーディング作用素の相対的凸性は、すべての微分可能でスパース制約付きの最適化問題において、その最悪ケース収束性能を完全に特徴付ける。
• ハードスレッショーディングやソフトスレッショーディングといった一般的に用いられるスレッショーディング作用素は、最悪ケース収束保証の観点で劣化している。
• ℓqスレッショーディング（q ∈ (0,1)）および新たに定義された逆数スレッショーディングを含む、一般化されたスレッショーディング作用素のクラスが、最適な収束保証を達成する。
• スパース線形回帰において、逆数作用素を用いた反復的スレッショーディングは、予測誤差バウンドが κ · (σ² s₀ log d)/n のオーダーとなり、Lassoの最適レートと一致する。
• 逆数スレッショーディング作用素は閉形式の更新式を持つため、強力な理論的性能を有しながらも、効率的かつ実用的な実装が可能である。
• 新しいアルゴリズムの収束速度は条件数κに依存するが、κ²ではなくκの因子に依存するため、悪条件問題に対するロバスト性が著しく向上する。