[論文レビュー] Adaptive Consensus ADMM for Distributed Optimization

Zheng Xu, Gavin Taylor+4 more|arXiv (Cornell University)|Jun 9, 2017

Sparse and Compressive Sensing Techniques参考文献 33被引用数 24

ひとこと要約

本稿では、局所的曲率推定を用いてノード固有のペナルティパラメータを自動的に調整する完全自動化された分散最適化手法である、適応的コンSENSUS ADMM（ACADMM）を提案する。この手法は、ノード固有のパrameterを用いた適応的ADMMに対してO(1/k)の収束速度を確立し、手動チューニングを必要とせず、実世界および合成データセットにおいて従来手法より優れたロバスト性と効率性を示す。

ABSTRACT

The alternating direction method of multipliers (ADMM) is commonly used for distributed model fitting problems, but its performance and reliability depend strongly on user-defined penalty parameters. We study distributed ADMM methods that boost performance by using different fine-tuned algorithm parameters on each worker node. We present a O(1/k) convergence rate for adaptive ADMM methods with node-specific parameters, and propose adaptive consensus ADMM (ACADMM), which automatically tunes parameters without user oversight.

研究の動機と目的

• 分散最適化におけるADMMの収束がユーザーが定義するペナルティパラメータに敏感である問題に対処すること。
• 手動チューニングを必要とせず、各ワーカーノードごとにアルゴリズムパラメータを自動的に適応する完全自動化手法の開発。
• ノード固有のパラメータを用いた適応的ADMMの理論的収束速度の確立。
• 異種および高次元分散環境におけるロバスト性とスケーラビリティの向上。
• AADMM、RB、CRBなどの既存の適応的ADMM変種よりも、実用的な収束速度と信頼性において優れるようにすること。

提案手法

• ACADMMは、ワーカー固有のペナルティパラメータを割り当てることで、適応的ADMMをコンセンサス問題に拡張する。
• 各ノードにおける部分問題の局所的曲率を推定し、動的かつペナルティパラメータを調整することで収束速度を向上させる。
• 安定性を確保するため、相関閾値ε^corと共役勾配収束定数C_cgを用いたセーフティガードメカニズムを採用する。
• 局所的双対関数の曲率から導かれる各ワーカーごとの適応的τ^k_iを用いた修正されたADMM更新則を採用する。
• 残差バランス化の原則を応用するが、ノードごとに適応させることで、高次元におけるグローバル曲率推定の問題を回避する。
• 初期ペナルティパラメータやハイパーパrameterの設定に強く、ユーザーに依存しないデプロイメントが可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ノード固有のペナルティパラメータを用いた適応的ADMMは、分散コンセンサス問題において、証明可能なO(1/k)収束速度を達成できるか？
• RQ2 各ワーカーごとの局所的曲率推定は、グローバルまたは固定ペナルティ戦略と比較して、収束をどのように改善するか？
• RQ3 ACADMMは、異種データ分布や変動する問題次元においても、ロバストな性能を維持できるか？
• RQ4 実世界および合成データセットにおいて、ACADMMはRB、AADMM、CRBと比較して収束速度と安定性で優れているか？
• RQ5 ACADMMは初期ペナルティパラメータやε^corやC_cgのようなハイパーパラメータに対してどれほど感度が低いか？

主な発見

• ACADMMは、やや緩い条件下でもノード固有パラメータを用いた適応的ADMMに対してO(1/k)の収束速度を達成し、先行研究の理論的保証を拡張する。
• MNIST、CIFAR10、RCV1といった実世界データセットにおいて、ACADMMはCADMM、RB、CRB、AADMMと比較して反復回数およびウォールクロックタイムの両面で優れた性能を示す。
• ACADMMは初期ペナルティパラメータの選択に強く、全テストデータセットで微調整済みADMMと同等の性能を発揮する。
• ACADMMはワーカー数やデータスケールの変動に対しても安定した性能を維持し、優れたスケーラビリティを示す。
• セーフティガードハイパーパラメータε^corとC_cgに対して感度が低く、デフォルト値を用いるだけで優れた結果が得られる。
• 異種データ環境（例：10個のガウス分布を含むSynthetic2）では、ACADMMはグローバル曲率推定の不正確さに苦しむAADMMを著しく上回る。