[論文レビュー] Random extrapolation for primal-dual coordinate descent

Ahmet Alacaoglu, Olivier Fercoq+1 more|arXiv (Cornell University)|Jul 13, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、ランダムな外挿を用いてスパースおよびディンスなデータ行列を動的に処理できる、プライマルデュアル座標降下法PURE-CDを提案する。メトリック下正則性のもとで線形収束を達成し、一般の凸-凹ケースでは最適なO(1/k)の非線形収束を示す。パラメータチューニングなしで、両設定において既存手法を上回る性能を発揮する。

ABSTRACT

We introduce a randomly extrapolated primal-dual coordinate descent method that adapts to sparsity of the data matrix and the favorable structures of the objective function. Our method updates only a subset of primal and dual variables with sparse data, and it uses large step sizes with dense data, retaining the benefits of the specific methods designed for each case. In addition to adapting to sparsity, our method attains fast convergence guarantees in favorable cases extit{without any modifications}. In particular, we prove linear convergence under metric subregularity, which applies to strongly convex-strongly concave problems and piecewise linear quadratic functions. We show almost sure convergence of the sequence and optimal sublinear convergence rates for the primal-dual gap and objective values, in the general convex-concave case. Numerical evidence demonstrates the state-of-the-art empirical performance of our method in sparse and dense settings, matching and improving the existing methods.

研究の動機と目的

• スパースデータでは反復コストが高く、ディンスデータではステップサイズが制限される既存のプライマルデュアル座標降下法の限界を解消すること。
• スパース効率型とディンス効率型の手法の利点を統合し、手動チューニングなしにデータスパarsityに適応する統一されたフレームワークを構築すること。
• メトリック下正則性のもとで線形収束を証明すること。これは強凸-強凹問題や区分的線形-二次的目的関数（例：lassoやSVM）を含む。
• 一般の凸-凹ケースにおいて、確実に収束する性質と、最適なO(1/k)の非線形収束レートを、プライマルデュアルギャップおよび目的関数値について確立すること。

提案手法

• データ行列Aのスパarsityパターンに従い、プライマルおよびデュアル変数のランダムサブセットに対して選択的更新を行う座標降下を採用。
• gおよびh*のプロキシマル作用素と、fの勾配更新を用い、ステップサイズを外挿メカニズムにより適応的に調整する。
• ブロックスパarsityに依存する確率法則に基づくランダム選択戦略を採用し、スパースおよびディンス両状態で効率を発揮する。
• リャプノフ関数と確率的解析を用いて収束保証を導出。期待される反復値および双対ギャップの境界を含む。
• 収束速度を向上させつつ安定性を維持するため、外挿を用いたデュアル変数更新を組み込む。

実験結果

リサーチクエスチョン

• RQ1 プライマルデュアル座標降下法は、スパースデータでは低コストで、ディンスデータでは大きなステップサイズを同時に達成できるか？
• RQ2 ランダム外挿は、ステップサイズを変更せずに未知の問題構造に適応可能か？
• RQ3 メトリック下正則性のもとで保証できる収束レートは何か？ また、既存手法と比較してどうか？
• RQ4 一般の凸-凹ケースにおいて、確実な収束と最適なO(1/k)の非線形収束レートは確立できるか？

主な発見

• PURE-CDは、メトリック下正則性のもとで線形収束を達成する。これは強凸-強凹問題や、lassoやSVMなどの区分的線形-二次的目的関数を含む。
• 一般の凸-凹ケースにおいて、プライマルデュアルギャップおよび目的関数値の最適なO(1/k)の非線形収束レートを達成する。
• 強凸性がなくても、反復値が解に確実に収束することを証明した。
• 数値実験により、スパース、ディンス、および中程度スパースなデータ環境において、最先端の経験的性能を示した。
• スパースデータでは低反復コストを維持し、ディンスデータでは大きなステップサイズを実現しており、一方を犠牲にして他方を取る既存手法を凌駆した。