[論文レビュー] Outlier Robust Online Learning

Jiashi Feng, Huan Xu+1 more|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用数 7

ひとこと要約

本稿では、大規模データ向けにスケーラブルなフレームワークとして、オンライン最適化と中央値フィルタリングを組み合わせることで、敵対的外れ値に対して証明可能なロバスト性を達成するオンラインロバスト学習（ORL）を提案する。ミニバッチおよびグローバルレベルの両方でロバスト推定を適用することにより、ORLは統計的整合性と効率性を維持し、合成的および実世界の設定（画像タギングや分散学習を含む）において、標準的なオンライン手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of learning from noisy data in practical settings where the size of data is too large to store on a single machine. More challenging, the data coming from the wild may contain malicious outliers. To address the scalability and robustness issues, we present an online robust learning (ORL) approach. ORL is simple to implement and has provable robustness guarantee -- in stark contrast to existing online learning approaches that are generally fragile to outliers. We specialize the ORL approach for two concrete cases: online robust principal component analysis and online linear regression. We demonstrate the efficiency and robustness advantages of ORL through comprehensive simulations and predicting image tags on a large-scale data set. We also discuss extension of the ORL to distributed learning and provide experimental evaluations.

研究の動機と目的

• データが中央に保存できないほど大きく、悪意ある外れ値を含む可能性がある大規模データ学習におけるスケーラビリティとロバスト性の二重の課題に対処すること。
• 大規模データセットに対して計算的に非現実的であるため、複数回のデータ走査を要する伝統的なロバスト学習手法の限界を克服すること。
• 複数回のデータ走査や集中型計算を必要とせず、一定割合の外れ値に対してロバスト性を維持しながら、効率的なストリーミング計算を可能にするオンライン学習フレームワークを開発すること。
• ノード障害や通信エラーに対して耐性を持つ分散学習設定にORLフレームワークを拡張すること。
• 理論的保証と大規模実世界データ（画像タギングタスクを含む）における実証的検証を通じて、ORLの有効性を示すこと。

提案手法

• まず、各ミニバッチ内で標準的なオンライン最適化（例：確率的勾配降下法）を独立して適用する二段階のオンライン学習アーキテクチャを採用する。
• ミニバッチ推定値の間で中央値フィルタリングを適用し、外れ値を含むバッチによって汚染された推定値を効果的にフィルタリングする。
• 中央値推定器の統計的ロバスト性を活用し、一定割合のミニバッチが外れ値によって汚染されても、依然として整合性が保証されることを確保する。
• ORLフレームワークを、オンラインロバストPCAや線形回帰を含むさまざまな学習アルゴリズムと互換性を持つ一般化されたパイプラインとして定式化する。
• 複数の計算ノードからの推定値に中央値フィルタリングを適用することで、ORLフレームワークを分散学習に統合し、故障耐性を向上させる。
• 理論的分析により、ORLが集中型ロバスト手法と同等の収束速度を維持し、誤差バウンドがサブガウス型尾部パラメータと外れ値の割合に依存することを示している。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングデータにおいて、一定割合の敵対的外れ値に対して、オンライン学習を証明可能なロバスト性で行うことは可能か？
• RQ2 複数回のデータ走査や集中型計算を要せず、オンライン学習におけるロバスト性をどのように維持できるか？
• RQ3 ミニバッチごとの外れ値分布の非一様性が、オンライン学習アルゴリズムの性能に与える影響は何か？
• RQ4 ノード障害や通信エラーに対してロバスト性を維持しながら、ORLフレームワークを分散学習環境に拡張することは可能か？
• RQ5 収束性、精度、計算効率の観点から、ORLフレームワークは標準的なオンラインおよび集中型ロバスト学習手法と比べてどのように差をつけるか？

主な発見

• ORLフレームワークは、一定割合の外れ値に対して証明可能なロバスト性を達成しており、理論的バウンドにより、推定誤差が外れ値を含むミニバッチ推定値の一定割合でさえも制御されたまま保たれることを示している。
• オンラインロバストPCAでは、部分空間推定誤差が、高確率で $ \|P_{\mathcal{U}} - P_{\mathcal{U}}^\star\|_{\infty} \leq \frac{2L}{\Delta_d} \left\{ \sqrt{\frac{4}{c}\log(\frac{4}{\delta})} \sqrt{\frac{p}{n}} + \frac{\lambda}{1-\lambda} \log(\frac{2}{\delta}) \right\} $ で有界であることが示された。
• オンラインロバスト線形回帰では、$ \ell_2 $推定誤差が $ \|\widehat{\theta} - \theta^\star\|_2 \leq c\|\theta^\star\|_2 \sqrt{1 + \frac{\sigma_e^2}{\|\theta^\star\|_2^2}} \left( \sqrt{\frac{p\log(1/\delta)}{n}} + \frac{\lambda}{1-\lambda} \sqrt{p} \log(1/\delta) \right) $ で有界であり、外れ値汚染に対してロバストであることが示された。
• 大規模な画像タギングデータを用いた包括的なシミュレーションおよび実世界実験により、ORLは標準的なオンライン学習を著しく上回るロバスト性を発揮しながらも、高い効率性を維持していることが示された。
• ORLフレームワークは分散学習に成功裏に拡張され、通信エラーおよびノード障害に対しても耐性を示した。分散環境における実験的検証も行われた。
• 集中型ロバスト学習と比較して、ロバスト性の損失はほとんどなく、データサイズにほぼ線形にスケーラブルであるため、テラバイトおよびペタバイト規模のデータ処理に適している。