[論文レビュー] Large-scale randomized-coordinate descent methods with non-separable linear constraints

Sashank J. Reddi, Ahmed Hefny+3 more|arXiv (Cornell University)|Sep 9, 2014

Stochastic Gradient Optimization Techniques参考文献 32被引用数 10

ひとこと要約

本稿は、非分割線形制約を伴う大規模凸最適化のための確率的ブロック座標降下法を提案し、SVMの双対問題や融合ラッソのような問題の効率的解法を可能にする。既存の研究とは異なり、反復のグローバル複雑度が制約数に依存しないことを達成し、指数関数的依存を克服した。さらに、収束保証付きの新しい非同期および確率的バージョンを導入した。

ABSTRACT

We develop randomized (block) coordinate descent (CD) methods for linearly constrained convex optimization. Unlike most CD methods, we do not assume the constraints to be separable, but let them be coupled linearly. To our knowledge, ours is the first CD method that allows linear coupling constraints, without making the global iteration complexity have an exponential dependence on the number of constraints. We present algorithms and analysis for four key problem scenarios: (i) smooth; (ii) smooth + nonsmooth separable; (iii) asynchronous parallel; and (iv) stochastic. We illustrate empirical behavior of our algorithms by simulation experiments.

研究の動機と目的

• 非分割線形制約を扱える確率的ブロック座標降下法を開発し、制約数に指数関数的依存しないようにすること。
• 結合された線形制約の下で、座標降下法を複合的・確率的・非同期設定に拡張すること。
• 制約数に依存しない反復複雑度を備えた理論的収束保証を提供すること。
• SVMの双対問題やグループラッソのような大規模機械学習問題における実用的スケーラビリティを実現すること。
• 複数の線形制約に対して、従来のCD法が抱える指数的複雑度のボトルネックを克服すること。

提案手法

• 制約行列 $ A \in \mathbb{R}^{m \times n} $ の構造に基づいて変数をパーティショニングする確率的ブロック-CDフレームワークを導入し、非分割結合を許容する。
• 変数ブロックの更新を維持しながら妥当性を保つように変更された部分問題を用いた、双対上昇アプローチを採用する。
• 滑らかでない目的関数に対しても収束解析を含む、確率的ブロック選択ルールを採用する。
• 非同期バージョンでは、競合を低減しスループットを向上させるためにスピンロックベースの同期化を用いる。
• グラム行列の保存を避けるために、プライマル重みベクトルを用いたオンザフライ勾配計算を導入する。
• SVM双対問題のボックス制約に対して、二重ロックを用いて並列更新中の妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 確率的ブロック座標降下法は、非分割線形制約を伴う問題へ拡張可能であり、多項式時間の反復複雑度を維持できるか？
• RQ2 提案手法は、従来の研究で見られた制約数に指数関数的依存する問題を回避できるか？
• RQ3 このフレームワークは、収束保証付きで非同期および確率的設定に拡張可能か？
• RQ4 提案手法の実験的性能は、大規模機械学習問題においてどのように評価できるか？
• RQ5 $ m $ や $ b $ に指数関数的依存しない状態で、$ O(1/k) $ の収束レートを達成できるか？

主な発見

• 滑らかな問題に対して、$ m \geq 1 $ 個の線形制約のもとで、グローバル反復複雑度が $ O(1/\epsilon) $ に抑えられ、$ m $ に依存しない。
• 分離可能な滑らかでない項を含む複合ケースでは、特に和制約下で、従来の研究よりも収束レートがタイトである。
• 非同期バージョンは、特にスターレイアウトとリングレイアウトのような高競合トポロジーにおいて、同期版よりも顕著なスループット向上を達成する。
• a7a および w8a データセットでは、スパースな特徴オーバーラップとアトミック更新を伴い、並列CD法が最大15倍の高速化を達成した。
• 二重ロックとアトミック操作を用いることで、並列更新中でも妥当性と収束性を維持する。
• 実験結果から、特に分散環境において、非同期手法が同期版を上回るスループットと実行時間の両面で優れた性能を示した。