[論文レビュー] Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems

Zhanxing Zhu, Amos Storkey|arXiv (Cornell University)|Jun 12, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用数 11

ひとこと要約

本稿では、正則化された経験的リスク最小化を含む分離可能な凸-凹なサドルポイント問題に対して、AdaSPDCを提案する。AdaSPDCは、データブロックの固有ノルムに基づいてプライマルおよびデュアルのステップサイズを動的に調整することで、先行手法よりも鋭い線形収束レートを達成し、合成データおよび実世界のデータセットの両方で最先端のアルゴリズムを上回る性能を示す。特に正則化パrameterが小さい場合に顕著である。

ABSTRACT

We consider a generic convex-concave saddle point problem with separable structure, a form that covers a wide-ranged machine learning applications. Under this problem structure, we follow the framework of primal-dual updates for saddle point problems, and incorporate stochastic block coordinate descent with adaptive stepsize into this framework. We theoretically show that our proposal of adaptive stepsize potentially achieves a sharper linear convergence rate compared with the existing methods. Additionally, since we can select "mini-batch" of block coordinates to update, our method is also amenable to parallel processing for large-scale data. We apply the proposed method to regularized empirical risk minimization and show that it performs comparably or, more often, better than state-of-the-art methods on both synthetic and real-world data sets.

研究の動機と目的

• 保守的な定数ステップサイズに起因する既存の確率的プライマル-デュアル手法の収束の非最適性を是正すること。
• 機械学習に生じる大規模な分離可能なサドルポイント問題に対して、スケーラブルで効率的なアルゴリズムの開発。
• 個々のデータブロックの局所的幾何構造を反映する適応的ステップサイズルールの統合。
• 座標ブロックのミニバッチ更新により並列処理を可能とすること。
• 最先端の手法と比較して、正則化された経験的リスク最小化タスクにおいて優れた性能を示すこと。

提案手法

• 本手法は、各データブロック行列 $\mathbf{A}_i$ の固有ノルムに基づいてプライマルおよびデュアル変数のための適応的ステップサイズを導入することで、SPDCフレームワークを拡張する。
• 各反復でランダムに選択されたデュアル座標（ブロック）のサブセットを更新する確率的ブロック座標降下を用いる。
• 適応的ステップサイズルールにより、選択されたブロックとプライマル変数との結合強度を反映するように $\tau$（プライマル）および $\sigma$（デュアル）のステップサイズを動的に調整する。
• パrameter $\theta$ を用いた外挿を組み込むことで収束を加速し、改善された線形収束レートの理論的裏付けを提供する。
• 閉形式で解けないデュアル更新（例：ロジスティック損失）に対しては、数回のニュートンステップを適用して解を精緻化する。
• ミニバッチ更新をサポートしており、大規模データセットにおける効率的な並列化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 局所的ブロック構造に依存する適応的ステップサイズは、分離可能なサドルポイント問題における確率的プライマル-デュアル手法の収束レートを向上させ得るか？
• RQ2 固定された定数ステップサイズと比較して、適応的ステップサイズルールは収束速度および安定性において優れているか？
• RQ3 提案手法は、さまざまな損失関数（例：滑らかなハイン損失およびロジスティック損失）および正則化領域においても優れた性能を維持できるか？
• RQ4 ミニバッチ拡張は、収束品質を損なうことなく効果的な並列化を可能にするか？
• RQ5 既存のSPDCおよびSAGの変種と比較して、適応的手法の理論的収束レートはいかほどか？

主な発見

• AdaSPDCは、各データブロックの固有ノルムに基づいてステップサイズを適応的に調整することで、SPDCよりも鋭い線形収束レートを達成する。
• w8a、covertype、quantum などの実世界データセットにおいて、AdaSPDCは一貫して最先端の手法を上回るか、同等の性能を示す。特に正則化パrameter $\lambda = 10^{-7}$ のような小さな値において顕著である。
• 滑らかなハイン損失の場合、デュアル更新は射影により $b_i y_i \in [-1, 0]$ を満たす閉形式解を有し、最小限のチューニングで良好な性能を発揮する。
• ロジスティック損失の場合、デュアル更新は閉形式解を有しないが、数回のニュートンステップにより高精度な更新が得られ、強力な性能を維持する。
• SAGの性能はステップサイズの選択に極めて敏感であり、最適チューニングを行っても、多数のデータセットにおいてAdaSPDCの性能に達しない。
• 非一様サンプリングを用いたSPDCは初期段階での収束が速いが、最終的な目的関数値ではAdaSPDCに劣り、保守的な定数ステップサイズの限界を示している。