[論文レビュー] Online and Distributed Robust Regressions under Adversarial Data Corruption

Xuchao Zhang, Liang Zhao+2 more|arXiv (Cornell University)|Oct 2, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、大規模データセットにおける悪意のあるデータ汚染に対処するために、各データバッチごとにヒューリスティックなハードスレッショーディングとロバストな統合を用いる分散型・オンライン型のロバスト回帰アルゴリズム（DRLRおよびORLR）を提案する。これらの手法は、最先端のバッチ手法と比較して、誤差に定数上界を保証し、合成データおよび実世界のデータにおいて、ロバスト性とスケーラビリティの両面で既存手法を上回る性能を達成する。

ABSTRACT

In today's era of big data, robust least-squares regression becomes a more challenging problem when considering the adversarial corruption along with explosive growth of datasets. Traditional robust methods can handle the noise but suffer from several challenges when applied in huge dataset including 1) computational infeasibility of handling an entire dataset at once, 2) existence of heterogeneously distributed corruption, and 3) difficulty in corruption estimation when data cannot be entirely loaded. This paper proposes online and distributed robust regression approaches, both of which can concurrently address all the above challenges. Specifically, the distributed algorithm optimizes the regression coefficients of each data block via heuristic hard thresholding and combines all the estimates in a distributed robust consolidation. Furthermore, an online version of the distributed algorithm is proposed to incrementally update the existing estimates with new incoming data. We also prove that our algorithms benefit from strong robustness guarantees in terms of regression coefficient recovery with a constant upper bound on the error of state-of-the-art batch methods. Extensive experiments on synthetic and real datasets demonstrate that our approaches are superior to those of existing methods in effectiveness, with competitive efficiency.

研究の動機と目的

• メモリにすべてのデータをロードできない大規模データセットにおけるロバスト最小二乗回帰の課題に対処すること。
• 大規模データでは計算的に非現実的であり、かつ不均一な汚染下で失敗する伝統的なロバスト手法の限界を克服すること。
• ミニバッチごとに汚染を推定し、バッチ間で一貫性のあるロバストな係数ベクトルを統合する分散アルゴリズムの開発。
• 新しいデータバッチを段階的に更新しながらロバスト性を維持するオンライン拡張の設計。
• 最先端のバッチ手法と比較して、係数回復誤差が定数に抑えられることを保証する強力な理論的保証の確保。

提案手法

• 各データミニバッチ内での汚染セットを推定するためにヒューリスティックなハードスレッショーディングを用い、外れ値を特定・除外する。
• 分散型ロバスト統合を適用して、個々のバッチ推定値を統合し、グローバルでロバストな回帰係数ベクトルを生成する。
• 新しい到着するデータバッチを用いて、既存の推定値を段階的に調整するオンライン更新メカニズムを採用する。
• 全データセット全体のグローバルな知識を必要としない、バッチごとの汚染推定戦略を導入する。
• 理論的分析により、係数回復誤差がデータセットサイズに依存せず定数に抑えられることを証明する。
• 実行時間はデータサイズ、バッチ数、汚染率に比例して線形に増加するように設計されており、スケーラビリティに優れる。

実験結果

リサーチクエスチョン

• RQ1 データをすべてメモリにロードできない状況下でも、大規模データセットにおける悪意のある汚染下でロバスト回帰を効果的にスケーリングできるか？
• RQ2 汚染がデータバッチ間で不均一に分布している場合でも、ロバスト性をどのように維持できるか？
• RQ3 オンラインおよび分散フレームワークは、バッチ手法と同等の強力なロバスト性保証を達成できるか？
• RQ4 汚染率やバッチレベルでの汚染分布の変化が、係数回復精度に与える影響は何か？
• RQ5 既存のオンラインおよび分散型ロバスト回帰手法と比較して、提案手法の効率性とロバスト性はどのように異なるか？

主な発見

• 少なくとも1つのミニバッチが汚染されている場合、DRLRおよびORLRは、特に高い汚染率下で、すべての競合手法を上回る係数回復誤差性能を示す。
• ORLRはオンライン手法の中で最高の性能を発揮し、汚染されたミニバッチ数が2から8に増加しても低誤差を維持する。
• RLHH-AVGは低汚染（≤10%）条件下で最良の性能を示すが、数個以上のバッチが汚染されると急激に性能が低下し、脆弱性が顕在化する。
• OLS-AVGは低汚染状況下では小さな汚染偏差のため競争力のある性能を示すが、高汚染下では失敗する。
• DRLRおよびORLRは、データサイズ、バッチ数、汚染率の増加に伴い、実行時間の線形的増加を維持しており、強力なスケーラビリティを示す。
• 追加の汚染推定および統合ステップを経ても、DRLRおよびORLRは効率性に優れ、速度およびロバスト性の両面でRLHHを上回る。