[論文レビュー] Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex

Chaobing Song, Shaobo Cui+2 more|arXiv (Cornell University)|Feb 25, 2017

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、Nesterovの加速と確率的最適化を組み合わせ、ℓ1ノルムの二乗近似に基づく新しいグリーディ選択ルールを用いた、加速型確率的勾配座標降下法（ASGCD）を提案する。この手法により、凸部分問題の正確な解法を可能にするSOTOPOアルゴリズムを導入し、サンプルサイズの程度でグリーディ選択の複雑さを低減しながら、O(√(1/ϵ))の最適収束速度を達成する。これは、高次元で密な、スパース解を求める問題において顕著な性能向上をもたらす。

ABSTRACT

In this paper we study the well-known greedy coordinate descent (GCD) algorithm to solve $\ell_1$-regularized problems and improve GCD by the two popular strategies: Nesterov's acceleration and stochastic optimization. Firstly, we propose a new rule for greedy selection based on an $\ell_1$-norm square approximation which is nontrivial to solve but convex, then an efficient algorithm called "SOft ThreshOlding PrOjection (SOTOPO)" is proposed to exactly solve the $\ell_1$-regularized $\ell_1$-norm square approximation problem, which is induced by the new rule. Based on the new rule and the SOTOPO algorithm, the Nesterov's acceleration and stochastic optimization strategies are then successfully applied to the GCD algorithm. The resulted algorithm called accelerated stochastic greedy coordinate descent (ASGCD) has the optimal convergence rate $O(\sqrt{1/ε})$, meanwhile, it reduces the iteration complexity of greedy selection up to a factor of sample size. Both theoretically and empirically, we show that ASGCD has better performance for high-dimensional and dense problems with sparse solution.

研究の動機と目的

• 従来のGauss-Southwellルールによる非凸性のため、グリーディ座標降下法（GCD）が最適収束速度に到達できないという限界を解消すること。
• 滑らかな関数f(x)のℓ1ノルムの二乗近似を用いた凸再定式化により、Nesterovの加速を可能にするGCD部分問題の再定式化。
• 全勾配計算を避けるために、グリーディ選択の反復複雑度を低減するための確率的最適化の導入。
• ℓ1正則化問題における加速、確率的最適化、および新しい部分問題の正確解法を統合した効率的なアルゴリズムの設計。

提案手法

• 滑らかな関数f(x)のℓ1ノルムの二乗近似に基づく、従来の二次近似に代わる新しいグリーディ選択ルールを提案。
• 得られたℓ1正則化付きℓ1ノルムの二乗問題を正確に解くためのSOft ThreshOlding PrOjection（SOTOPO）アルゴリズムを導入。計算時間はO(d + |Q| log |Q|)、ここで|Q| ≪ d。
• 適切に設計されたミラー降下ステップを用いてNesterovの加速を適用し、最適なO(√(1/ϵ))収束速度を達成。
• 全勾配計算を避けるために、1反復あたり1つの学習例をサンプリングする確率的最適化を採用。これにより、グリーディ選択コストがサンプルサイズnの程度で低減。
• 新規選択ルール、SOTOPO、確率的加速を統合した統一アルゴリズムとして、加速型確率的グリーディ座標降下法（ASGCD）を構築。
• Bregman散発とテレスコピング不等式を用いたカップリング議論により収束を証明。パラメータを最適化することで、最適な収束率を保証。

実験結果

リサーチクエスチョン

• RQ1 グリーディ座標降下法にNesterovの加速を適用できるか。ただし、カーディナリティ制約による部分問題の非凸性がある場合。
• RQ2 ℓ1ノルムの二乗近似によるGCD部分問題の凸再定式化は、スパarsityと効率性を維持したまま加速を可能にするか。
• RQ3 全勾配計算を避けても収束保証を維持できるように、グリーディ選択に確率的最適化を統合できるか。
• RQ4 提案されたASGCDアルゴリズムは、ℓ1正則化問題において最適なO(√(1/ϵ))収束速度を達成するか。
• RQ5 高次元で密な、スパース解を求める問題において、ASGCDは最先端の手法と比較して反復複雑度と収束速度で優れているか。

主な発見

• ASGCDは、ℓ1正則化問題において最適な収束速度O(√(1/ϵ))を達成し、一次順の最適手法の最高水準に一致する。
• 確率的サンプリングにより、グリーディ選択の反復複雑度がサンプルサイズnの程度で低減され、全勾配計算を回避。
• SOTOPOアルゴリズムは、O(d + |Q| log |Q|)時間でℓ1正則化付きℓ1ノルムの二乗問題を解く。これは、従来のEucledian射影手法（SOPOPO）のO(d log d)を上回る性能を発揮。
• 高次元で密な問題にスパース解が存在する場合、ASGCDは最先端の手法と比較して理論的および実験的に優れた性能を示す。
• 理論的解析により、ASGCDはF(x) − F(x*) ≤ ϵを達成するまでにO(√(C L1 ||x*||1 / √ϵ))回の反復を要することが示された。ここでCは次元dとともに緩やかに増加し、log²(d)で上界をもつ。
• 最終的な収束境界はE[F(˜xS) − F(x*)] ≤ 4/(S + 3)² × (1 + (1 + 2β(b))/(2m) × C) × L||x*||₁²であり、最適な収束率と問題パラメータへの依存性を確認している。