[論文レビュー] Distributed Robust Learning

Jiashi Feng, Huan Xu+1 more|arXiv (Cornell University)|Sep 21, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用数 32

ひとこと要約

本稿では、k台のマシンにデータを分散し、各マシンで基本的なロバスト学習アルゴリズムを適用した後、幾何学的中央値を用いて結果を集約することで、大規模で汚染済みのデータ上でのロバスト統計的学習を高速化する、分散型ロバスト学習（DRL）というフレームワークを提案する。DRLは集中型手法のロバスト性を保ち、敵対的ノード障害下でも分解点が少なくともλ*/2に達する。これは、遅延や通信エラー下でも、単純平均法よりもロバスト性と信頼性に優れている。

ABSTRACT

We propose a framework for distributed robust statistical learning on {\em big contaminated data}. The Distributed Robust Learning (DRL) framework can reduce the computational time of traditional robust learning methods by several orders of magnitude. We analyze the robustness property of DRL, showing that DRL not only preserves the robustness of the base robust learning method, but also tolerates contaminations on a constant fraction of results from computing nodes (node failures). More precisely, even in presence of the most adversarial outlier distribution over computing nodes, DRL still achieves a breakdown point of at least $ λ^*/2 $, where $ λ^* $ is the break down point of corresponding centralized algorithm. This is in stark contrast with naive division-and-averaging implementation, which may reduce the breakdown point by a factor of $ k $ when $ k $ computing nodes are used. We then specialize the DRL framework for two concrete cases: distributed robust principal component analysis and distributed robust regression. We demonstrate the efficiency and the robustness advantages of DRL through comprehensive simulations and predicting image tags on a large-scale image set.

研究の動機と目的

• 大規模な外れ値を含むデータにおける従来のロバスト学習手法のスケーラビリティとロバスト性の課題に対処すること。
• 計算時間とメモリ使用量を著しく削減しながらもロバスト性を維持する分散フレームワークを設計すること。
• 分散環境におけるノード障害、遅延、通信エラーに対して耐性を持つこと。
• DRLが単純な分割・平均化戦略よりもロバスト性に優れていることを示すこと。
• 実世界の大規模データ（例：ノイズを含むユーザー提供タグによる画像タグ予測）を用いてフレームワークを検証すること。

提案手法

• k台の計算ノードにデータを均等に分散させることで、各ノードの計算負荷とメモリ使用量をk分の1に削減する。
• 各ノードで独立に基本的なロバスト学習アルゴリズム（例：RPCA や RLR）を適用し、局所的推定値を生成する。
• 単純平均ではなく幾何学的中央値を用いて局所的推定値を集約することで、ロバスト性を保持する。
• 通信コストを最小限に保つ——各パラメータ推定値のサイズをsとすると、通信量はk × sに留まる。
• 任意の既存のロバスト学習手法と互換性があり、即時統合が可能である。
• 幾何学的中央値集約により、一定割合のノードが損傷したり誤った結果を返してもロバスト性が保たれる。

実験結果

リサーチクエスチョン

• RQ1 敵対的汚染やノード障害下でも、分散処理が集中型ロバスト学習アルゴリズムのロバスト性を保ち得るか？
• RQ2 ノードが汚染された場合、分散フレームワークの分解点は単純平均法と比べてどの程度優れているか？
• RQ3 平均法と比較して、幾何学的中央値集約は遅延や通信エラーに対してどの程度耐性を示すか？
• RQ4 DRLフレームワークは大規模データ上で顕著な高速化を達成しつつ、低誤差と高いロバスト性を維持できるか？
• RQ5 Flickrの画像タグ予測タスクのような実世界のノイズを含むデータセットにおいて、DRLは分割・平均化法を上回る性能を示せるか？

主な発見

• 敵対的汚染によるノードの一定割合からの結果汚染下でも、DRLは分解点が少なくともλ*/2に保たれ、λ*は集中型アルゴリズムの分解点である。
• 単純な分割・平均化法は分解点をk分の1に低下させ、ノード障害に対して極めて脆弱であるが、DRLは依然としてロバスト性を維持する。
• シミュレーションでは、DRL-RPCAとDRL-RLRは外れ値の割合が0.5を超えていても強力な性能を維持するが、平均法を用いる手法は急激に劣化する。
• マシンの遅延（半数のマシンが先に終了）下では、DRLの推定誤差は0.26 ± 0.01、平均法は0.42 ± 0.01であり、DRLの優れた耐性が示された。
• 通信エラー（10%の推定値のうち30%の要素が反転）下では、DRLの誤差は0.31 ± 0.03、平均法は0.78 ± 0.02であり、DRLのロバスト性が裏付けられた。
• 1億枚の画像を含む大規模なFlickr画像データセットでは、DRL-LRがMAP 0.56 ± 0.02を達成し、Division-Averaging LR（0.59 ± 0.01）を上回った。計算オーバーヘッドはほとんどなく（3,002 ± 14 秒 vs. 2,957 ± 5 秒）、差は無視できる。