[論文レビュー] Variance Reduced Three Operator Splitting

Fabián Pedregosa, Kilian Fatras+1 more|arXiv (Cornell University)|Jun 19, 2018

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、SAGAおよびSVRGに基づく分散低減型三作用素分割法を提案する。この手法は、全変動、重複付きグループlasso、トレンドフィルタリングなどの複雑な非滑らか罰則を、近位分解を活用することで効率的に処理する。固定ステップサイズを用いて収束を達成し、フル勾配法と同等の漸近的収束速度を達成するが、大規模問題に適した低コストな反復計算を維持する。

ABSTRACT

Despite the rise to fame of incremental variance-reduced methods in recent years, their use in nonsmooth optimization is still limited to few simple cases. This is due to the fact that existing methods require to evaluate the proximity operator for the nonsmooth terms, which can be a costly operation for complex penalties. In this work we introduce two variance-reduced incremental methods based on SAGA and SVRG that can efficiently take into account complex penalties which can be expressed as a sum of proximal terms. This includes penalties such as total variation, group lasso with overlap and trend filtering, to name a few. Furthermore, we also develop sparse variants of the proposed algorithms which can take advantage of sparsity in the input data. Like other incremental methods, it only requires to evaluate the gradient of a single sample per iteration, and so is ideally suited for large scale applications. We provide a convergence rate analysis for the proposed methods and show that they converge with a fixed step-size, achieving in some cases the same asymptotic rate as their full gradient variants. Empirical benchmarks on 3 different datasets illustrate the practical advantages of the proposed methods.

研究の動機と目的

• 近位作用素の計算コストが高いため、インクリメンタル型分散低減法が非滑らか最適化に適用可能な範囲が限られているという問題に対処する。
• 全変動や重複付きグループlassoなど、近位項の和として表現可能な複雑な罰則に対する効率的最適化を可能にする。
• 入力データのスパarsityを活用するスパース版のアルゴリズムを開発し、さらなる効率化を図る。
• 固定ステップサイズを用いて収束を達成し、一部のケースではフル勾配法と同等の漸近的収束速度を達成する。

提案手法

• 分散低減を実現するSAGAおよびSVRGに基づくインクリメンタル手法を提案し、勾配の累積平均を維持することで分散を低減する。
• 複雑な非滑らか罰則を近位項の和に分解し、近位作用素による効率的なインクリメンタル更新を可能にする。
• 入力データのスパarsityを活用し、勾配の非ゼロ成分のみを効率的に更新するスパース版を導入する。
• 滑らか損失関数、非滑らか正則化項、構造的罰則の和を扱える三作用素分割フレームワークを採用する。
• 過去の勾配履歴を保持し、現在の勾配と平均化された過去の勾配の組み合わせを用いて解を更新する。
• 反復全体を通して固定ステップサイズを適用し、ラインサーチを不要にすることで安定した収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 近位項の和として表現可能な複雑な非滑らか罰則を扱えるように、分散低減型インクリメンタル手法を拡張できるか？
• RQ2 提案手法は固定ステップサイズを用いて収束を達成し、フル勾配バージョンと同等の漸近的収束速度を達成できるか？
• RQ3 入力データのスパarsityを活用することで、提案手法の計算速度をさらに向上できるか？
• RQ4 大規模最適化問題において、提案手法は既存の最先端手法と比較してどのように性能を発揮するか？

主な発見

• 提案されたSAGAおよびSVRGベースの手法は固定ステップサイズを用いて収束し、特定のケースではフル勾配法と同等の漸近的収束速度を達成する。
• 全変動、重複付きグループlasso、トレンドフィルタリングなどの複雑な罰則を、近位成分に分解することで効率的に処理できる。
• アルゴリズムのスパース版は、入力データにスパarsityが見られる場合、計算コストを顕著に低減する。
• 3つの実世界データセットを用いた実験的ベンチマークにより、収束速度とスケーラビリティの面で提案手法の実用的利点が明確に示された。