[論文レビュー] Balancing Communication and Computation in Distributed Optimization

Albert S. Berahas, Raghu Bollapragada+2 more|arXiv (Cornell University)|Sep 9, 2017

Distributed Control Multi-Agent Systems参考文献 59被引用数 7

ひとこと要約

本稿では、通信と計算のバランスをとるための適応的コストフレームワークを提案し、これらの要素を明示的に分解することで、カスタマイズ可能なアルゴリズムを可能にしている。著者らは、逐次的に共分散ステップを増加させることで最適解に収束する正確な1次順序法であるNEAR-DGD+を導入し、二次的およびロジスティック回帰問題において理論的・実践的に標準DGDを上回っている。

ABSTRACT

Methods for distributed optimization have received significant attention in recent years owing to their wide applicability in various domains. A distributed optimization method typically consists of two key components: communication and computation. More specifically, at every iteration (or every several iterations) of a distributed algorithm, each node in the network requires some form of information exchange with its neighboring nodes (communication) and the computation step related to a (sub)-gradient (computation). The standard way of judging an algorithm via only the number of iterations overlooks the complexity associated with each iteration. Moreover, various applications deploying distributed methods may prefer a different composition of communication and computation. Motivated by this discrepancy, in this work we propose an adaptive cost framework which adjusts the cost measure depending on the features of various applications. We present a flexible algorithmic framework, where communication and computation steps are explicitly decomposed to enable algorithm customization for various applications. We apply this framework to the well-known distributed gradient descent (DGD) method, and show that the resulting customized algorithms, which we call DGD$^t$, NEAR-DGD$^t$ and NEAR-DGD$^+$, compare favorably to their base algorithms, both theoretically and empirically. The proposed NEAR-DGD$^+$ algorithm is an exact first-order method where the communication and computation steps are nested, and when the number of communication steps is adaptively increased, the method converges to the optimal solution. We test the performance and illustrate the flexibility of the methods, as well as practical variants, on quadratic functions and classification problems that arise in machine learning, in terms of iterations, gradient evaluations, communications and the proposed cost framework.

研究の動機と目的

• 反復回数のみで分散最適化アルゴリズムを評価するという制限に対処すること。これは、各反復における通信および計算コストを無視するものである。
• アプリケーション固有のハードウェアおよびネットワーク制約に基づいて、通信と計算をカスタマイズ可能な柔軟なアルゴリズムフレームワークを開発すること。
• 特に通信コストが低い環境において、勾配評価ごとに複数の共分散ステップを可能にすることで、収束品質を向上させること。
• 標準DGDが最適解の近傍にしか収束しないのに対し、正確な1次順序法として最適解に収束するアルゴリズムを設計すること。
• 二次的およびロジスティック回帰問題において、提案されたコスト指標に基づいてフレームワークを実証的に検証し、優れた性能を示すこと。

提案手法

• アプリケーション固有のパラメータを用いて通信と計算コストを重み付けする適応的コストフレームワークを提案し、反復回数を超えた統一的な性能評価を可能にする。
• 標準DGDを明示的な通信ステップと計算ステップに分解し、DGD_t、NEAR-DGD_t、およびNEAR-DGD+のアルゴリズムファミリーを構築する。
• 共分散ステップと勾配ステップがネストされた正確な1次順序法であるNEAR-DGD+を導入し、時間とともに共分散ステップ数を適応的に増加させる。
• 強い凸性のもとでNEAR-DGD+の線形収束レートを解析し、最適解へのグローバル収束を証明する。
• 分散問題の共分散制約の再定式化を用いて、接続されたネットワーク内でのローカル更新と隣接ノードとの通信を可能にする。
• フレームワークを二次的およびロジスティック回帰問題に適用し、反復回数、勾配評価回数、通信回数、および提案されたコスト指標の観点から性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 分散最適化のための通信コストと計算コストを、意味的に意味のある1つの性能指標に統合する方法は何か？
• RQ2 通信と計算ステップの明示的分解は、より優れた性能とより柔軟な分散アルゴリズムをもたらすか？
• RQ3 勾配評価ごとに共分散ステップ数を増加させることで、解の品質と最適解への収束が向上するか？
• RQ4 定数ステップサイズを使用する場合でも、最適解に正確に収束するアルゴリズムを設計できるか？
• RQ5 提案されたフレームワークは、ロジスティック回帰のような実世界の機械学習問題において、実証的にどの程度の性能を示すか？

主な発見

• NEAR-DGD+は定数ステップサイズでも最適解に収束するが、標準DGDは最適解の近傍にしか収束しない。
• 強い凸関数に対して線形収束レートを達成し、理論的効率性を確認した。
• 二次的問題では、共分散ステップ数を増加させた手法（例：NEAR-DGD+(1,1,1000)）が、標準DGDおよびNEAR-DGD(1,1,-)よりも解の精度が優れている。
• マッシュルームデータセット（n=10, p=114）におけるロジスティック回帰実験では、適応的共分散ステップを有するNEAR-DGD+の変種が、DGDおよびNEAR-DGD(1,1,-)よりも相対誤差が低く、固定コスト予算下でも優れた性能を示した。
• 適応的コストフレームワークにより、NEAR-DGD(1,1,-)は固定コスト下で競争力を持つことが判明したが、NEAR-DGD+は他の手法が停滞する点を過ぎても継続的に改善を示した。
• 実証的結果から、勾配評価ごとの共分散ステップ数の増加が、特に通信コストが低い環境において解の品質を向上させることを確認した。