[論文レビュー] Communication Complexity of Distributed Convex Learning and Optimization

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|Jun 5, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用数 82

ひとこと要約

この論文は、分散凸最適化における基本的な通信複雑性の下界を確立し、局所関数が関連がなければ、無制限の局所計算が可能であっても多くの通信ラウンドが必要であることを示している。加速手法と一致するタイトな下界を証明し、局所関数が統計的に類似している場合には通信量を顕著に削減できる条件を特定している。

ABSTRACT

We study the fundamental limits to communication-efficient distributed methods for convex learning and optimization, under different assumptions on the information available to individual machines, and the types of functions considered. We identify cases where existing algorithms are already worst-case optimal, as well as cases where room for further improvement is still possible. Among other things, our results indicate that without similarity between the local objective functions (due to statistical data similarity or otherwise) many communication rounds may be required, even if the machines have unbounded computational power.

研究の動機と目的

• さまざまな仮定の下で、分散凸最適化における通信効率の根本的限界を特定すること。
• 既存の分散最適化アルゴリズムが最悪ケースにおいて最適であるかどうかを特定すること。
• 異なるマシン間のデータ類似度が通信複雑性に与える影響を分析すること。
• 所定の精度に達するための通信ラウンド数のタイトな下界を導出すること。
• 滑らかさ、強い凸性、構造的仮定がアルゴリズムの性能に与える役割を調査すること。

提案手法

• 情報理論的技術、特に相互情報量とピンスカールの不等式を用いて通信複雑性の下界を導出する。
• 局所目的関数間の類似度を定量化するパラメータδを導入し、関連する場合と関連のない場合を統一的に分析可能にする。
• アルゴリズムに構造的仮定を課すことで、下界が意味があり一般化可能であることを保証する。
• 対称性を持つランダム行列構成を用いて、下界分析のための困難なインスタンスを生成する。
• 送信されたメッセージと局所関数パラメータ間の相互情報量を分析し、アルゴリズムの精度を制限する。
• 加速技術とモアレ近似スムージングを組み合わせることで、非滑らかケースにおける潜在的な最適アルゴリズムを示唆する。

実験結果

リサーチクエスチョン

• RQ1 局所関数が関連がなければ、分散凸最適化を解くために必要な最小通信ラウンド数はどれくらいか？
• RQ2 既存の分散最適化アルゴリズムは通信効率を向上させられるのか、それとも最悪ケースで既に最適なのか？
• RQ3 局所データの統計的類似度（δで定量化）は、分散最適化の通信複雑性にどのように影響するか？
• RQ4 滑らかで強く凸な関数に対して、加速勾配法は通信複雑性の観点で最適なのか？
• RQ5 局所関数が非滑らかまたは強く凸でない場合、通信効率の根本的限界は何か？

主な発見

• 関連のない局所目的関数に対して滑らかでλ-strongly convexな関数の場合、通信複雑性はΩ(√(1/λ) log(1/ε))であり、これは加速勾配降下法と一致する。
• 関連のない局所目的関数に対して滑らかな凸関数の場合、下界はΩ(√(1/ε))であり、これはタイトで加速手法と一致する。
• 非滑らかでλ-strongly convexな関数の場合、下界はΩ(√(1/(λε)))であり、加速とプロキシマススムージングを組み合わせた最適アルゴリズムの可能性を示唆する。
• 一般の凸非滑らか関数の場合、下界はΩ(1/ε)であり、高精度に到達するには多くの通信ラウンドが必要であることを示している。
• 局所関数が関連している（δ-関連）場合、通信複雑性はΩ(√(δ/λ) log(1/ε))に低下し、この下界は2次関数に対してDISCOアルゴリズムによって（定数倍を除いて）達成されている。
• 局所計算が無制限であっても、関連のない場合にこれらの下界を下回ることはできず、根本的な限界が示されている。