[論文レビュー] A Discussion on Parallelization Schemes for Stochastic Vector Quantization Algorithms

Matthieu Durut, Benoît Patra+1 more|arXiv (Cornell University)|May 10, 2012

Stochastic Gradient Optimization Techniques参考文献 4被引用数 5

ひとこと要約

本稿では、スチューデント的ベクトル量子化（VQ）の非同期的で共有バージョンに基づく並列化方式を提案する。これは、単純な並列化の性能制限を克服するものであり、平均化ではなく局所勾配寄与を用いてグローバルに共有されるプロトタイプバージョンを更新することで、通信遅延の高い分散アーキテクチャ上でも顕著な高速化を達成する。Microsoft Azure上では最大32倍の高速化が実現された。

ABSTRACT

This paper studies parallelization schemes for stochastic Vector Quantization algorithms in order to obtain time speed-ups using distributed resources. We show that the most intuitive parallelization scheme does not lead to better performances than the sequential algorithm. Another distributed scheme is therefore introduced which obtains the expected speed-ups. Then, it is improved to fit implementation on distributed architectures where communications are slow and inter-machines synchronization too costly. The schemes are tested with simulated distributed architectures and, for the last one, with Microsoft Windows Azure platform obtaining speed-ups up to 32 Virtual Machines.

研究の動機と目的

• バッチk-meansのように自明に並列化可能な性質を持たない、確率的ベクトル量子化（VQ）における有効な並列化の欠如に対処する。
• 各ノードが独立にVQを実行し、定期的にプロトタイプを平均化するというナチュラルな並列化が、収束速度の向上に寄与しない理由を特定する。
• 各ノードの学習率を一貫させることで、収束速度の向上を実現する新しい並列VQ方式を設計する。そのために、局所勾配寄与を用いて更新される共有バージョンを用いる。
• 通信遅延の高い、信頼性の低い分散環境（例：クラウドプラットフォーム）に適応するため、非同期更新と確率的遅延を導入する。
• シミュレーションとMicrosoft Azure上での実世界のデプロイを通じて、提案手法のスケーラビリティと耐障害性を実証する。

提案手法

• 各ノードが局所的なプロトタイプバージョンを維持し、自身のデータサブセットを用いて局所勾配更新を計算する新しい並列VQ方式を提案する。
• 各τステップごとに局所プロトタイプを平均するのではなく、共有グローバルプロトタイプバージョンに局所勾配更新の合計を適用することで更新する。
• 時間窓τ内での各ノードからの累積勾配寄与を表すΔというdelta項を用いて、更新ルールを定義する。
• ノードが更新を受信する度に共有バージョンを独立して更新する非同期バージョンを導入し、幾何分布に従う通信遅延をモデル化する。
• 同期の障害を排除し、すべてのノードからの最新更新を継続的に統合する共有バージョン更新メカニズムを採用する。
• 各ノードがデータストリームを処理し、中央のコーディネータが共有バージョンを維持する分散アーキテクチャを用いてアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 なぜ複数の計算ユニットを用いても、スチューデント的VQのナチュラルな並列化は高速化を達成できないのか？
• RQ2 並列VQ方式は、ノード間で一貫した学習率を維持することで、どのように収束速度の向上を実現できるのか？
• RQ3 通信遅延が高く、信頼性に欠ける環境（例：クラウドコンピューティングプラットフォーム）において、効果的な並列化を実現するための設計パターンは何か？
• RQ4 実際の分散インfraストラクチャにデプロイした場合、提案手法は壁時計時間の短縮という観点でどの程度スケーラブルか？
• RQ5 非同期処理と確率的遅延を導入することで、並列VQアルゴリズムの収束行動とパフォーマンスにどのような影響が生じるか？

主な発見

• 各τステップごとに局所プロトタイプを平均するナチュラルな並列化方式では、処理される1データポイントあたりの有効な学習率が低下するため、高速化が達成できない。
• 提案手法では、局所勾配更新を直接共有グローバルプロトタイプバージョンに適用することで、顕著な高速化が達成された。Microsoft Azure上で32台の仮想マシンを用いて最大32倍の高速化が実証された。
• 短いτ（減少フェーズの頻度が高い）では、局所プロトタイプとグローバルプロトタイプの乖離が小さくなり、コンSENSUSの加速が見られる。
• 同期の障害を排除し、通信遅延を幾何分布でモデル化した非同期バージョンは、同期バージョンとほぼ同等の性能を維持した。
• ネットワーク遅延やスローワーやストラグルの影響をほとんど受けることなく、実際のクラウド環境下でも安定した性能を発揮した。
• Azure上での実装により、大規模なVQ処理における分散システムへの提案手法のスケーラビリティと実用的妥当性が確認された。