[論文レビュー] Dual Free SDCA for Empirical Risk Minimization with Adaptive Probabilities

Xi He, Martin Takáč|arXiv (Cornell University)|Oct 22, 2015

Stochastic Gradient Optimization Techniques参考文献 22被引用数 6

ひとこと要約

本稿では、正則化された経験的リスク最小化における二重自由SDCAにおいて、部分最適性の低下の可能性が最も高いと予想される双対座標を動的に優先する、適応的確率選択を提案する。時間に依存する非一様確率を許容することで、一様選択に比べて収束が向上し、実験では実際の応用において優れた効率性を示している。

ABSTRACT

In this paper we develop free SDCA with adaptive probabilities for regularized empirical risk minimization. This extends recent work of Shai Shalev-Shwartz [SDCA without Duality, arXiv:1502.06177] to allow non-uniform selection of dual coordinate in SDCA. Moreover, the probability can change over time, making it more efficient than uniform selection. Our work focuses on generating adaptive probabilities through iterative process, preferring to choose coordinate with highest potential to decrease sub-optimality. We also propose a practical variant Algorithm adfSDCA+ which is more aggressive. The work is concluded with multiple experiments which shows efficiency of proposed algorithms.

研究の動機と目的

• 二重自由SDCAを非一様かつ適応的座標選択をサポートするように拡張し、収束効率を向上させること。
• SDCAにおける一様座標選択の制限を解消し、実際の収束速度の低下を回避すること。
• 部分最適性低下の可能性に基づいて、確率を動的に調整する手法を開発すること。
• 収束をより速くするために確率更新をより積極的に行う実用的変種adfSDCA+を提案すること。
• 適応的確率選択の効率性を、実世界のERM問題において経験的に検証すること。

提案手法

• 部分最適性の低下が最も期待される双対座標を優先することで、反復的に適応的確率を生成する。
• 一様座標選択を非一様かつ時間に依存する確率分布に置き換えることで、二重自由SDCAを拡張する。
• 各座標ごとの推定進捗に基づいて確率を更新し、より高い改善可能性を持つものを優遇する。
• 明示的な双対ギャップ計算を必要としない二重フリー定式化を用いる。
• 実用的変種adfSDCA+は、収束を加速するために確率更新に対してより積極的な戦略を採用する。
• 部分最適性低下の推定値に従って、選択確率を反復的に改善するアプローチである。

実験結果

リサーチクエスチョン

• RQ1 二重自由SDCAにおける非一様かつ適応的確率選択は、一様選択に比べて収束を速くできるか？
• RQ2 最適化中に効率的かつ効果的に適応的確率を計算し、高影響度の座標を優先できるか？
• RQ3 時間に依存する確率が、正則化された経験的リスク最小化における収束速度に与える影響は何か？
• RQ4 提案されたadfSDCA+変種は、標準的な二重自由SDCAに比べて実用的性能で優れているか？
• RQ5 適応的戦略は、多様なERM問題において一貫して一様選択を上回るか？

主な発見

• 提案された適応的確率手法は、部分最適性低下の可能性が最も高い座標に注目することで、一様選択に比べて二重自由SDCAでより速い収束を達成した。
• 確率の時間に依存する性質により、最適化の過程で選択戦略を動的に改善できる。
• 実用的変種adfSDCA+は、性能が向上しており、より積極的な確率更新が収束速度の向上に寄与することが示された。
• 実験により、複数のERMタスクにおいて、適応的アプローチが一様選択よりも効率的であることが確認された。
• 双対ギャップ計算を必要とせずに、二重自由SDCAに非一様座標選択を効果的に拡張できた。