[論文レビュー] Adaptive Stochastic Alternating Direction Method of Multipliers

Peilin Zhao, Jin-Wei Yang+2 more|arXiv (Cornell University)|Dec 16, 2013

Sparse and Compressive Sensing Techniques参考文献 15被引用数 8

ひとこと要約

本稿では、従来の確率的ADMMにおける固定された二次近似項（半二乗ノルム）の代わりに、部分勾配情報から導かれる適応的2次近似項を用いる、適応的確率的ADMMアルゴリズムを提案する。履歴勾配に基づいて近似項を動的に調整することで、最良の事後的近似関数に相当するレグレットバウンドを達成し、実世界のデータセットにおいて標準的確率的ADMMと比較して収束が速く、性能が優れている。

ABSTRACT

The Alternating Direction Method of Multipliers (ADMM) has been studied for years. The traditional ADMM algorithm needs to compute, at each iteration, an (empirical) expected loss function on all training examples, resulting in a computational complexity proportional to the number of training examples. To reduce the time complexity, stochastic ADMM algorithms were proposed to replace the expected function with a random loss function associated with one uniformly drawn example plus a Bregman divergence. The Bregman divergence, however, is derived from a simple second order proximal function, the half squared norm, which could be a suboptimal choice. In this paper, we present a new family of stochastic ADMM algorithms with optimal second order proximal functions, which produce a new family of adaptive subgradient methods. We theoretically prove that their regret bounds are as good as the bounds which could be achieved by the best proximal function that can be chosen in hindsight. Encouraging empirical results on a variety of real-world datasets confirm the effectiveness and efficiency of the proposed algorithms.

研究の動機と目的

• 従来の確率的ADMMが固定された二次近似関数（半二乗ノルム）を用いるため、勾配構造の変化にうまく適合できないという、性能の最適化が不十分な問題に対処すること。
• 履歴部分勾配情報に基づく適応的近似関数を用いる新しい確率的ADMMアルゴリズムの族を開発し、収束速度と最適化効率を向上させること。
• 提案手法のレグレットバウンドが、事後に最良の近似関数を選んだ場合の理論的最良値に一致することを理論的に証明すること。
• 多様な実世界の機械学習データセットにおいて、提案手法の有効性と効率性を実験的に検証すること。

提案手法

• 標準的な半二乗ノルムに基づくBregman散発を、履歴に応じて動的に更新される正定値行列 H_t に基づく適応的Bregman散発に置き換える。
• 適応的近似関数は、累積的部分勾配情報に基づいて更新される対角またはフルヘッセ行列に類似した行列 H_t を用いて構築される。
• 各反復で、適応的Bregman散発に基づく線形化された部分問題を解き、閉形式での更新を可能にしつつ計算効率を維持する。
• ステップサイズは対数スケールのグリッドからの交差検証により適応的に選択され、凸性の仮定のもとで収束保証を維持するように設計されている。
• 過去の勾配に基づいて近似項を進化可能にするという点で、確率的ADMMを一般化し、非一様なデータおよび損失関数の形状に応じた柔軟性を向上させる。
• 理論的分析により、提案手法のレグレットバウンドが、最良の事後的近似関数によって達成可能な理論的最良バウンドと一致することを確立する。

実験結果

リサーチクエスチョン

• RQ1 部分勾配履歴から導かれる適応的近似関数は、固定された二次近似関数と比較して、確率的ADMMの収束速度を向上させることができるか？
• RQ2 提案された適応的確率的ADMMのレグレットバウンドは、事後に最良の近似関数を選んだ場合の理論的下界と一致するか？
• RQ3 対角行列とフル行列の両方の適応的ヘッセ行列の選択が、収束速度と計算コストのトレードオフにどのように影響するか？
• RQ4 提案手法は、実世界の機械学習データセットにおいて、標準的確率的ADMMと比較してより速い収束とより優れた一般化性能を達成できるか？
• RQ5 適応的確率的ADMMの対角行列型とフル行列型の間で、計算効率のトレードオフはどのように変化するか？

主な発見

• Ada-SADMM diag は a9a データセットで、SADMM が 56.09 秒を要するのに対し、94.76 秒で目的関数値を 2.6002 から 0.3550 まで低下させ、著しく速い収束を達成した。
• mushrooms データセットでは、Ada-SADMM diag がテスト誤差を 0.0350 から 0.0006、目的関数値を 0.7353 から 0.0096 まで低下させ、一般化性能と最適化性能の両面で優れた結果を示した。
• Ada-SADMM full はほとんどのデータセットで Ada-SADMM diag よりわずかに良い目的関数値を達成したが、計算時間は顕著に長く（a9a では 622.45 秒 vs. 94.76 秒）、精度と速度のトレードオフを示した。
• w8a データセットでは、Ada-SADMM diag が目的関数値を 0.3357 から 0.1526 まで低下させ、テスト誤差を 0.0957 から 0.0931 まで低下させ、326.14 秒を要したが、SADMM より一貫した改善を示した。
• 提案手法は、最良の事後的近似関数に一致するレグレットバウンドを達成し、適応戦略の理論的最適性を裏付けた。
• 実験的結果は、部分勾配に基づく適応的近似関数が収束を加速させ、一般化性能を向上させることを確認した。特に、Ada-SADMM diag は速度と性能のバランスが最も優れていた。