[論文レビュー] Distributed Averaging Methods for Randomized Second Order Optimization

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|Feb 16, 2020

Sparse and Compressive Sensing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、通信コストと計算コストを削減するために、スケッチド・ヘッセ行列近似を用いた確率的2次最適化の不偏分散平均化手法を提案する。スケッチド解のバイアスを排除する正則化とステップサイズの閉形式式を提供することで、追加コストなしに真の最適解への収束を可能にし、特に異種環境およびサーバーレスコンピューティング環境で顕著な効果を発揮する。

ABSTRACT

We consider distributed optimization problems where forming the Hessian is computationally challenging and communication is a significant bottleneck. We develop unbiased parameter averaging methods for randomized second order optimization that employ sampling and sketching of the Hessian. Existing works do not take the bias of the estimators into consideration, which limits their application to massively parallel computation. We provide closed-form formulas for regularization parameters and step sizes that provably minimize the bias for sketched Newton directions. We also extend the framework of second order averaging methods to introduce an unbiased distributed optimization framework for heterogeneous computing systems with varying worker resources. Additionally, we demonstrate the implications of our theoretical findings via large scale experiments performed on a serverless computing platform.

研究の動機と目的

• マス・スケーリング・システムにおけるスケーリングの制限要因となる、確率的2次最適化における平均化スケッチド解のバイアスを解消すること。
• 異なるワーカーのリソースとスケッチ次元を想定した分散環境における不偏パラメータ平均化のフレームワークを構築すること。
• AWS Lambda などのリソース制限のあるサーバーレスプラットフォームで、効率的かつ低オーバーヘッドの最適化を実現すること。
• 正則化および非正則化問題の両方に対して、バイアス補正および収束に関する理論的保証を提供すること。
• サーバーレスコンピューティングプラットフォーム上で大規模な実験を実施し、スケーラビリティおよびパフォーマンスの向上を示すこと。

提案手法

• ガウス分布やSJLTなどのスケッチ行列を用いてヘッセ行列を近似し、2次最適化における計算コストを削減する。
• 平均化されたスケッチド解におけるバイアスを排除する正則化パラメータおよびステップサイズの閉形式式を導出する。
• 異種ワーカー間でバイアス補正された平均化を実行する分散反復的ヘッセ・スケッチアルゴリズムを導入する。
• 理論的収束保証を伴う、正則化最小二乗問題および一般凸最適化問題へのフレームワークの適用。
• マスターワーカーアーキテクチャを採用し、ワーカーが局所的なスケッチド解を計算し、中央のマスターに送信して平均化する。
• AWS Lambda 上で手法を検証し、イテレーション間でサーバーレス関数を再利用することで、セットアップのオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 正則化を伴う場合に、2次最適化における平均化スケッチド解のバイアスをどのように排除できるか。
• RQ2 分散された確率的ヘッセ近似において、不偏収束を保証する正則化およびステップサイズの閉形式式は何か。
• RQ3 本手法は、ワーカーの能力が異なる異種コンピューティングシステムでどのようにスケーリングするか。
• RQ4 リソース制限があり一時的な実行が可能なサーバーレスプラットフォームに、本手法は効率的にデプロイ可能か。
• RQ5 バイアス補正が大規模最適化における収束速度および最終解の精度に与える影響は何か。

主な発見

• 本稿では、平均化されたスケッチド解におけるバイアスを排除する正則化パラメータの明示的式を導出しており、真の最適解への収束を保証する。
• バイアス補正には、スケッチサイズおよびワーカー固有の問題次元に基づいて正則化係数を調整する必要がある。
• 追加の計算コストなしに不偏推定を達成でき、ナイーブな平均化よりパフォーマンスが向上する。
• AWS Lambda 上の実験では、44 GB のデータセットで1イテレーションが最短5秒で完了し、アルゴリズムの効果的なスケーリングを示している。
• ガウス分布およびSJLTスケッチ行列は他のスケッチ手法を上回り、SJLTは計算コストが低く、優れたパフォーマンスを発揮する。
• 効率的で通信量の少ない設計により、遅延の大きいワーカーに依存しないため、分散システムにおけるストレグラー問題を緩和する。