[論文レビュー] Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss

Yuchen Zhang, Lin Xiao|arXiv (Cornell University)|Jan 1, 2015

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

本稿では、機械学習における自己共形な経験的損失関数を最小化するための通信効率の高い分散最適化アルゴリズムを提案する。この手法は、不正確な減衰ニュートン法と分散プリコンディショニング共役勾配（PCG）ソルバを組み合わせており、反復の複雑さがサンプルサイズに依存せず、マシン数とともにゆっくりと増加するため、大規模な学習問題に対して非常にスケーラブルである。

ABSTRACT

We consider distributed convex optimization problems originated from sample average approximation of stochastic optimization, or empirical risk minimization in machine learning. We assume that each machine in the distributed computing system has access to a local empirical loss function, constructed with i.i.d. data sampled from a common distribution. We propose a communication-efficient distributed algorithm to minimize the overall empirical loss, which is the average of the local empirical losses. The algorithm is based on an inexact damped Newton method, where the inexact Newton steps are computed by a distributed preconditioned conjugate gradient method. We analyze its iteration complexity and communication efficiency for minimizing self-concordant empirical loss functions, and discuss the results for distributed ridge regression, logistic regression and binary classification with a smoothed hinge loss. In a standard setting for supervised learning, the required number of communication rounds of the algorithm does not increase with the sample size, and only grows slowly with the number of machines.

研究の動機と目的

• 大規模な経験的リスク最小化問題を解くために必要な通信ラウンド数を最小限に抑えることで、分散機械学習における通信ボトル neck を緩和すること。
• データサイズやマシン数が増加しても通信コストを増加させずに高い収束速度を維持できるスケーラブルなアルゴリズムを開発すること。
• 自己共形な損失関数（ロジスティック回帰やリッジ回帰を含む）に対する提案手法の反復複雑さと通信効率を分析すること。
• 自己共形性や強い凸性といった標準的な仮定の下で収束保証を確保するとともに、1反復あたりの通信オーバーヘッドを低く保つこと。

提案手法

• アルゴリズムは、m台のマシンに分散された局所的経験的損失の平均である全体の経験的損失を最小化するために、不正確な減衰ニュートン法を用いる。
• 各ニュートンステップは、局所ヘッセ行列の近似から構築されたプリコンディショナーを用いた分散プリコンディショニング共役勾配（PCG）法によって計算される。
• 損失関数の自己共形性の性質を活用して、グローバル収束を保証するとともに、ニュートンステップの不正確さを制御する。
• 通信ラウンド数を最小化するために、1反復あたり1ラウンドの通信のみを実行する：現在の反復点をブロードキャストし、マシン間で勾配およびヘッセ情報を集約する。
• 通信ラウンド数がマシン数とともにゆっくりと増加し、1マシンあたりのサンプルサイズに依存しないことを保証する。
• プリコンディショニングされたシステムの条件数を用いて、各ニュートンステップにおけるPCG反復回数の上限を理論的に評価し、内部ソルバーの高速収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 1台のマシンあたりのサンプル数に依存しない通信効率の高い分散最適化アルゴリズムは実現可能か？
• RQ2 不正確なニュートン法と分散線形方程式ソルバを効果的に組み合わせることで、通信オーバーヘッドを最小化できるか？
• RQ3 自己共形な経験的損失関数に対して、分散環境における減衰ニュートン法の反復複雑さは何か？
• RQ4 通信ラウンド数はマシン数および問題の条件数にどのように依存するか？

主な発見

• 通信ラウンド数が1マシンあたりのサンプルサイズに依存しないため、ビッグデータに対して非常にスケーラブルである。
• 反復複雑さはマシン数とともにゆっくりと増加し、具体的には条件数の平方根に比例する因子と次元の多対数因子によって上限が定まる。
• ロジスティック回帰やリッジ回帰などの自己共形損失関数に対して、通信複雑さがデータサイズに依存せず線形収束を達成する。
• 各ニュートンステップにおけるPCG反復回数は、κ（条件数）に対してO(√κ)で上限が定まるため、内部ソルバーの高速収束が保証される。
• 理論的保証として、適切なパrameter選択のもとで、期待される最適性ギャップはO(1/√n)で上限が定まる（nは1マシンあたりのサンプル数）。