[論文レビュー] Robust Distributed Online Prediction

Ofer Dekel, Ran Gilad-Bachrach+2 more|arXiv (Cornell University)|Dec 7, 2010

Stochastic Gradient Optimization Techniques参考文献 6被引用数 7

ひとこと要約

本稿では、ネットワーク障害やノード性能の非均一性に対しても漸近的に最適なレグレットバウンドを維持する分散オンライン予測のためのDMBアルゴリズムのロバストな変種を提示する。フェイルセーフなプリミティブと非同期分散設計を備えたマスターワーカー型アーキテクチャを導入することで、信頼性の低い環境下でも$O(\sqrt{m})$のレグレットを達成し、シリアルケースに近い主要定数を実現する。

ABSTRACT

The standard model of online prediction deals with serial processing of inputs by a single processor. However, in large-scale online prediction problems, where inputs arrive at a high rate, an increasingly common necessity is to distribute the computation across several processors. A non-trivial challenge is to design distributed algorithms for online prediction, which maintain good regret guarantees. In \cite{DMB}, we presented the DMB algorithm, which is a generic framework to convert any serial gradient-based online prediction algorithm into a distributed algorithm. Moreover, its regret guarantee is asymptotically optimal for smooth convex loss functions and stochastic inputs. On the flip side, it is fragile to many types of failures that are common in distributed environments. In this companion paper, we present variants of the DMB algorithm, which are resilient to many types of network failures, and tolerant to varying performance of the computing nodes.

研究の動機と目的

• ノードの障害、異なる処理速度、ネットワーク不安定性が生じる現実世界の分散システムにおいて、元々のDMBアルゴリズムの脆さを解消すること。
• 現実のシステム制約下でも、シリアル勾配ベース手法の漸近的最適なレグレット保証を維持する分散オンライン予測アルゴリズムを設計すること。
• 大規模かつ地理的に分散したシステムへの展開を可能にするために、中央集権的（マスターワーカー）および完全分散型（非同期）アーキテクチャの両方で耐障害性を確保すること。
• 最小限の定数オーバーヘッドで主要$O(\sqrt{m})$のレグレット項を維持することで、確率的最適化における近似最適な収束スピードアップを維持すること。

提案手法

• マスターワーカー型アーキテクチャを採用し、マスターが更新を調整し、リーダー選出や耐久ストレージといったフェイルセーフな既存コンponentsを活用することで、耐障害性を実現するDMBフレームワークの適応。
• 時間ベースのバッチ処理メカニズムを導入し、ノードがサイズ$b$のバッチを処理し、定期的なインターバルで更新を通信することで、通信頻度を低減し、レジリエンスを向上させる。
• 同期通信やグローバルな調整を必要としない非同期分散型変種（ADMB）を設計し、ノードが独立して更新できるようにする。
• 過去の勾配のスライディングウインドウを維持し、ノード間でモデルパラメータの移動平均を保持することで、学習の安定性を高め、ノード遅延や障害への感受性を低減する。
• Jensenの不等式と分散に配慮した勾配推定を用いて、モデル予測子と最適な$w^\star$との間の期待損失差をバウンドするレグレット分解技術を適用する。
• レグレットバウンドを$\sum_{j=1}^{\lceil m/\mu \rceil} \frac{\mu}{j} \psi(\sigma^2/b, j)$として導出する。ここで$\mu = b + 2(t+2)d'M$であり、滑らかで凸的かつ確率的損失関数下で漸近的最適性が保証される。

実験結果

リサーチクエスチョン

• RQ1 元のDMBアルゴリズムを、ノード障害、変動する処理速度、ネットワーク不安定性に対してロバストにし、その最適なレグレット保証を維持できるか。
• RQ2 ノードが非同期に動作し、通信が不安定な状況下でも、分散オンライン予測システムが$O(\sqrt{m})$のレグレットを維持できるか。
• RQ3 中央集権的か分散型のアーキテクチャパターンのどちらが、収束速度やレグレット性能を損なわず、耐障害性を実現できるか。
• RQ4 帯域制限や遅延更新がある分散環境において、シリアルオンラインアルゴリズムのレグレットバウンドをどの程度まで維持できるか。
• RQ5 バッチサイズ、通信遅延、ノード障害率が、分散オンライン学習における漸近的レグレットに及ぼす影響は何か。

主な発見

• 提案されたロバストなDMB変種は、期待レグレットバウンドとして$2D^2L(b + 2(t+2)d'M)(1 + \log m) + 4D\sigma\sqrt{\left(1 + \frac{2(t+2)d'M}{b}\right)m}$を達成し、主要項がシリアルケースと一致するため、漸近的に最適である。
• バッチサイズ$b$が$m^\rho$（$\rho \in (0, 1/2)$）にスケーリングする場合、レグレットバウンドは$4D\sigma\sqrt{m} + o(\sqrt{m})$に簡略化され、定数要因を除いてシリアルレグレットと一致する。
• 非同期分散型手法（ADMB）は、少なくとも1つのノードが常にアクティブでモデルを更新し続けられるように保証するため、他のノードが障害や停止しても進行を維持できる。
• 時間的期間における平均化予測子と分散低減型勾配推定の使用により、遅延や一貫性の欠如がある更新に対しても、アルゴリズムは安定性と収束性を維持できる。
• レグレットバウンドは、$\frac{1}{m}\psi(\sigma^2, m)$が単調に減少するという仮定の下で導出されており、ミラー降下やデュアルアベーリージングなどの標準的な勾配ベース手法においてこの仮定は成立する。
• フレームワークは、ブラックボックスとして任意の勾配ベースのシリアルオンラインアルゴリズムをサポートし、既存の学習手法に容易に統合可能でありながら、分散環境への展開に際して耐障害性を付与できる。