[論文レビュー] AIDE: Fast and Communication Efficient Distributed Optimization

Sashank J. Reddi, Jakub Konečný+3 more|arXiv (Cornell University)|Aug 24, 2016

Stochastic Gradient Optimization Techniques参考文献 13被引用数 110

ひとこと要約

この論文は分散経験リスク最小化のための INEXACTDANE とその高速化版 AIDE を導入し、1次オラクル法での頑健で通信効率の良い収束を達成し、主要な設定でほぼ最適な下限に近い限界を示す。

ABSTRACT

In this paper, we present two new communication-efficient methods for distributed minimization of an average of functions. The first algorithm is an inexact variant of the DANE algorithm that allows any local algorithm to return an approximate solution to a local subproblem. We show that such a strategy does not affect the theoretical guarantees of DANE significantly. In fact, our approach can be viewed as a robustification strategy since the method is substantially better behaved than DANE on data partition arising in practice. It is well known that DANE algorithm does not match the communication complexity lower bounds. To bridge this gap, we propose an accelerated variant of the first method, called AIDE, that not only matches the communication lower bounds but can also be implemented using a purely first-order oracle. Our empirical results show that AIDE is superior to other communication efficient algorithms in settings that naturally arise in machine learning applications.

研究の動機と目的

• 分散データ設定における関数の平均を最小化するための通信効率の高い分散最適化手法を開発する。
• 実用的なデータ分割に対して頑健さを保つ不完全なDANEの変種を提案する。
• 1次オラクルアクセスとともに通信下限をほぼ満たす加速版（AIDE）を創出する。
• 二次、強凸、弱凸、非凸の領域にわたる理論的収束保証を提供する。
• COCOA+ に対する経験的優位性を実証し、分散 SVRG の実装と関連づける。

提案手法

• DANE 内で局所サブ問題を近似的に解くことにより INEXACTDANE を導入し、不完全性パラメータ γ により制御する。
• 二次、強凸、弱凸、非凸の場合の INEXACTDANE を解析し収束保証を得る。
• Catalyst に類似したスキームを INEXACTDANE に適用する加速版である AIDE を提案し、ほぼ最適な通信複雑性を達成する。
• 適切なパラメータ選択で、AIDE が対数因子を除けば純粋に1次オラクルだけを用いて下限に一致することを示す。
• 分散 SVRG との関連と、SVRG や SDCA などの局所解法を用いた実装上の実用的側面について論じる。

実験結果

リサーチクエスチョン

• RQ1 データが K 台のマシンに分割されている場合、分散 ERM の通信ラウンドをどのように減らすか？
• RQ2 DANE 内の不完全な局所解法が収束保証を維持し、データ分割への頑健性を向上させることができるか？
• RQ3 実用的な1次オラクルアクセスの下で、加速（AIDE）がほぼ最適な通信複雑性を達成するか？
• RQ4 二次、強凸、弱凸、非凸の目的関数に対する INEXACTDANE および AIDE の収束保証は何か？
• RQ5 これらの手法を COCOA+ と実務上どのように経験的に比較し、実践的には分散 SVRG とどのように関連するか？

主な発見

• INEXACTDANE は近似局所解による収束的挙動を提供し、重要な保証を犠牲にすることなく分割への頑健性を高める。
• δ関連の二次 Fk に対して、適切なパラメータ選択と不完全性レベルの下で線形に近い収束を達成する。
• INEXACTDANE の加速版である AIDE は、二次の δ関連設定において、対数因子を除けば通信下限に一致する（1次情報のみを使用）
• 強凸設定では、AIDE は O((L/λ) log(1/ϵ)) の反復計算量を達成し、通信保証は下限に匹敵する。
• 弱凸および非凸の場合には、適切な摂動とパラメータ選択を用いて、INEXACTDANE と AIDE の収束挙動が文献どおり示される。
• 実証結果は、AIDE が DANE や COCOA+ を上回ることを示し、特に条件数が大きい場合や局所計算が異なる場合に顕著である。