[論文レビュー] Distributed Inexact Damped Newton Method: Data Partitioning and Load-Balancing.

Chenxin Ma, Martin Takáč|arXiv (Cornell University)|Mar 16, 2016

Stochastic Gradient Optimization Techniques被引用数 2

ひとこと要約

本稿では、DiSCOアルゴリズムを変更することで、通信効率の向上と負荷分散の改善を実現した分散不正確なダンプドニュートン法を提案する。データパーティショニングの最適化と冗長な通信の削減により、273GBの正則化付き経験的損失最小化タスクにおいて、元のDiSCOよりも高速な収束と優れたスケーラビリティを達成した。

ABSTRACT

In this paper we study inexact dumped Newton method implemented in a distributed environment. We start with an original DiSCO algorithm [Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss, Yuchen Zhang and Lin Xiao, 2015]. We will show that this algorithm may not scale well and propose an algorithmic modifications which will lead to less communications, better load-balancing and more efficient computation. We perform numerical experiments with an regularized empirical loss minimization instance described by a 273GB dataset.

研究の動機と目的

• 元のDiSCOアルゴリズムが分散ニュートン型最適化においてスケーラビリティに限界を示す問題に対処すること。
• アルゴリズム的改良を通じて、分散不正確なダンプドニュートン法における通信オーバーヘッドを低減すること。
• データパーティショニング戦略の最適化により、ワーカー間での負荷分散を向上させること。
• 大規模な経験的リスク最小化における計算効率と収束速度を向上させること。
• 実世界の273GBのデータセットを用いて、本手法の実用的スケーラビリティと性能向上を評価すること。

提案手法

• 本手法はDiSCOアルゴリズムを基盤としているが、不正確ニュートンステップ計算の最適化により冗長な通信を削減する改良を施している。
• 通信を最小限に抑える一方で、ワーカー間の計算負荷を均衡させるデータパーティショニング戦略を採用している。
• 収束を維持しつつ、1イテレーションあたりの通信量を削減するため、適応的ラインサーチを用いた不正確なダンプドニュートン更新を実装している。
• グローバルイテレーション回数の制限と勾配・ヘッシアン情報の交換を最適化することで、通信コストを低減している。
• 部分問題の解法の精度を動的に調整することで、収束速度と通信オーバーヘッドのトレードオフをバランスさせている。
• 各ワーカーがほぼ同じ数のサンプルと特徴量を処理するようにデータを分散配布することで、負荷分散を実現している。

実験結果

リサーチクエスチョン

• RQ1 DiSCOアルゴリズムをどのように変更すれば、分散不正確なダンプドニュートン最適化における通信オーバーヘッドを低減できるか？
• RQ2 大規模最適化において、より優れた負荷分散と計算効率を実現するデータパーティショニング戦略は何か？
• RQ3 提案手法は、実世界のデータセットにおいて、元のDiSCOと比較してより高速な収束と低い通信コストを達成できるか？
• RQ4 ニュートンステップにおける不正確さと収束速度のトレードオフが、全体のパフォーマンスに与える影響はいかほどか？
• RQ5 273GBのデータセットを用いた実験を通じて、データサイズの増加に伴い、本手法はどの程度スケーリングするか？

主な発見

• 本手法は、データパーティショニングと不正確ステップ計算の最適化により、元のDiSCOアルゴリズムと比較して通信コストを低減した。
• 戦略的なデータ配布により、負荷分散が向上し、アイドルタイムが最小限に抑えられ、並列効率が向上した。
• 273GBの正則化付き経験的損失最小化タスクにおいて、ベースラインのDiSCOと比較して、本手法はより高速な収束を示した。
• ダンピングと適応的ラインサーチのおかげで、ヘッシアンと勾配の近似値が不正確であっても、収束が安定した。
• 冗長な通信の削減が、大規模分散環境における明確なパフォーマンス向上をもたらした。
• データサイズの増加に伴い、本手法は効果的にスケーリングし、通信効率と計算負荷の分布に一貫した改善を示した。