[論文レビュー] On Accelerating Distributed Convex Optimizations

Kushal Chakrabarti, Nirupam Gupta+1 more|arXiv (Cornell University)|Aug 19, 2021

Stochastic Gradient Optimization Techniques参考文献 24被引用数 6

ひとこと要約

この論文は、サーバー上で逐次的に更新されるプリコンディショニング行列を用いて、悪条件な問題における収束を加速する分散凸最適化のための反復的プリコンディショニング勾配降下法（IPG）を提案する。従来の手法とは異なり、IPGは線形収束を達成し、解が一意の場合は超線形収束を示し、GD、Adam、BFGSを凌駕する性能を示す。全バッチおよびノイズあり設定の両方で一般化性能を維持しながら、収束速度が向上する。

ABSTRACT

This paper studies a distributed multi-agent convex optimization problem. The system comprises multiple agents in this problem, each with a set of local data points and an associated local cost function. The agents are connected to a server, and there is no inter-agent communication. The agents' goal is to learn a parameter vector that optimizes the aggregate of their local costs without revealing their local data points. In principle, the agents can solve this problem by collaborating with the server using the traditional distributed gradient-descent method. However, when the aggregate cost is ill-conditioned, the gradient-descent method (i) requires a large number of iterations to converge, and (ii) is highly unstable against process noise. We propose an iterative pre-conditioning technique to mitigate the deleterious effects of the cost function's conditioning on the convergence rate of distributed gradient-descent. Unlike the conventional pre-conditioning techniques, the pre-conditioner matrix in our proposed technique updates iteratively to facilitate implementation on the distributed network. In the distributed setting, we provably show that the proposed algorithm converges linearly with an improved rate of convergence than the traditional and adaptive gradient-descent methods. Additionally, for the special case when the minimizer of the aggregate cost is unique, our algorithm converges superlinearly. We demonstrate our algorithm's superior performance compared to prominent distributed algorithms for solving real logistic regression problems and emulating neural network training via a noisy quadratic model, thereby signifying the proposed algorithm's efficiency for distributively solving non-convex optimization. Moreover, we empirically show that the proposed algorithm results in faster training without compromising the generalization performance.

研究の動機と目的

• 集約コスト関数が悪条件である場合に生じる分散勾配降下法の収束遅延および不安定性を解消すること。
• 局所的なデータポイントを露呈せずに収束速度を向上させる分散アルゴリズムを設計すること。
• 従来、二次関数に限定されていた反復的プリコンディショニングを、一般の凸最適化問題へ拡張すること。
• 分散学習設定におけるプロセスノイズ（通信・計算誤差をモデル化）に対して、収束速度とロバストネスを向上させること。
• ノイズあり二次モデルを用いて、実際のロジスティック回帰およびニューラルネットワーク学習における手法の有効性を検証すること。

提案手法

• サーバーは解の推定値を保持し、過去の勾配に基づいて逐次的に更新されるプリコンディショニング行列を用いた修正勾配で更新を行う。
• ヘッセ行列の逆行列を近似する再帰的更新ルールを用いてプリコンディショニング行列を計算し、明示的なヘッセ行列の計算を回避しながら二次の情報を利用可能にする。
• 相互作用のないサーバー支援型の同期分散アーキテクチャで動作させ、データプライバシーを確保する。
• 一般の凸関数に対して線形収束を形式的に証明し、最小値が一意の場合は超線形収束を示す。
• 大規模な設定でも計算効率を維持するため、低ランク近似戦略を用いてプリコンディショニング行列を更新する。
• ミニバッチ勾配計算を用いて確率的設定へ拡張し、収束特性を保持する。

実験結果

リサーチクエスチョン

• RQ1 反復的プリコンディショニングは、分散設定において二次関数から一般の凸最適化問題へ効果的に拡張可能か？
• RQ2 提案手法の反復的プリコンディショニング技術は、従来の分散勾配法と比較して収束速度を向上させるか？
• RQ3 プロセスノイズ（現実の通信・計算誤差をモデル化）下で、アルゴリズムはどのように性能を示すか？
• RQ4 ロジスティック回帰およびニューラルネットワークの学習において、提案手法の一般化性能はどの程度か？
• RQ5 特定の条件下（例：最小値が一意）では、超線形収束を達成できるか？

主な発見

• 提案されたIPGアルゴリズムは、従来の分散勾配降下法およびAdamやNAGなどの適応的手法よりも高速な線形収束率を達成する。
• 解が一意の特殊ケースでは、IPGは超線形収束を達成し、他のすべての手法よりも収束速度が優れている。
• 全バッチ設定では、BFGSを除き、他のすべての手法よりもIPGが反復回数を少なくした。BFGSはプロセスノイズ下で発散した。
• プロセスノイズ下では、MNISTデータセットでは推定コストの最終相対誤差が最小であり、CIFAR-10では最終コストがGD、HBM、Adamを下回った。
• ミニバッチ設定では、MNISTおよびCIFAR-10両データセットで、許容誤差閾値に到達するまでの反復回数が最少であった。
• IPGで学習されたモデルのテスト誤差は、GD、NAG、HBM、Adamと同等であり、高速な学習にもかかわらず一般化性能に劣化がないことが示された。