[論文レビュー] Communication Efficient Distributed Agnostic Boosting

Shang-Tse Chen, Maria-Florina Balcan+1 more|arXiv (Cornell University)|Jun 21, 2015

Face and Expression Recognition参考文献 13被引用数 6

ひとこと要約

本稿では、任意のノイズに強く、計算的にも効率的な通信効率の良い分散ブースティングアルゴリズムを、アグノスティック学習の文脈で提案する。対数的反復のアグノスティックブースティングフレームワークに適応することで、誤差パラメータεに比例する通信複雑度を最適化しつつ、強い誤差保証を維持する。実世界および合成データセットを用いた大規模な分散環境下でも、先行手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of learning from distributed data in the agnostic setting, i.e., in the presence of arbitrary forms of noise. Our main contribution is a general distributed boosting-based procedure for learning an arbitrary concept space, that is simultaneously noise tolerant, communication efficient, and computationally efficient. This improves significantly over prior works that were either communication efficient only in noise-free scenarios or computationally prohibitive. Empirical results on large synthetic and real-world datasets demonstrate the effectiveness and scalability of the proposed approach.

研究の動機と目的

• データが本質的に複数のソースに分散されており、任意のノイズを含む分散学習の文脈におけるアグノスティック設定の課題に対処すること。
• 通信効率、計算効率、ノイズ耐性を同時に満たす分散学習アルゴリズムを開発すること—これは、ノイズのない環境でのみ通信効率が保証される、あるいは計算的に非現実的な先行手法の限界を克服することを目的とする。
• 敵対的なデータ分割が存在する中でも、一般化誤差の境界を強固に保ちつつ通信コストを低減することで、スケーラブルかつ実用的な分散学習を可能にすること。
• 中心集約型の弱学習器を分散ブースティングフレームワークに組み込むことの妥当性と有効性を示し、さまざまな概念クラスに適応可能なアルゴリズム設計の簡素化を実現すること。

提案手法

• 誤差パラメータεに対して対数的（O(log(1/ε))）の反復回数を有する、集中型のアグノスティックブースティングアルゴリズムを採用することで、誤差パラメータに比例する通信複雑度を実現する。
• 弱仮説を反復的に学習するブースティングフレームワークを採用し、各弱学習器が中心から再重み付けされたデータ分布を処理するが、分散的にではなく、中心で統合的に処理する。
• 各マシンから中心へ送信される例数が反復ごとに定数に保たれ、εに依存しない通信効率の良いプロトコルを採用する。
• 特に、アグノスティック設定下でO(log(1/ε))の反復回数と強い誤差境界を達成する知られているSmoothBoostの変種を活用し、通信オーバーヘッドを低減する。
• 中心が各ノードから最小限の情報（例：重み付き例、勾配など）を集約してグローバル仮説を更新する分散プロトコルを設計し、データ転送量を最小限に抑える。
• ロジスティック回帰やその他のモデルを含むさまざまな弱学習器との柔軟な統合を可能とし、通信プロトコルを再設計することなく、異なる概念クラスに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 分散ブースティングアルゴリズムは、アグノスティック学習設定下で通信効率とノイズ耐性の両方を達成できるか？
• RQ2 任意のデータノイズが存在する中でも、誤差パラメータεに比例する対数的通信複雑度（O(log(1/ε))）を維持しながら、強い一般化誤差境界を保証できるか？
• RQ3 ブースティングベースの手法は、高次元特徴を持つ大規模で分散されたデータセットに対しても、計算的に効率的かつスケーラブルに動作できるか？
• RQ4 さまざまなノイズレベル下で、提案手法の誤差率と通信コストが、既存の分散学習手法と比べてどのように異なるか？

主な発見

• 1%のノイズを含む合成データセットでは、提案手法Dist.SmoothBoostは13.38%の誤差率を達成し、Dist.AdaBoost（25.97%）およびLiblinear（クリーンデータでは0.00%、10%ノイズでは37.67%）を顕著に上回った。
• 高ノイズ環境（10%ノイズ）下でも、Dist.SmoothBoostは27.07%の誤差率を達成し、Liblinear（37.67%）およびDist.AdaBoost（28.04%）を上回り、優れたノイズ耐性を示した。
• 実世界のデータセットでは、Adult、Ijcnn1、Yahooの3つのデータセットで最も低い誤差率を記録し、残りの2つ（Cod-RNA、Covtype）に対しても競争力のある性能を示した。
• 最大のデータセット（Yahoo、325万例）では4秒以内に処理を完了し、通信コストはサンプル数に依存せず、特徴次元dに比例するのみであった。
• 実行時間はLiblinear（例：Yahooで3.79秒 vs. 1.37秒）を上回ったが、通信コストは最小限で、データサイズに依存しないため、高次元特徴を持つビッグデータに適している。
• 提案手法は1反復あたりO(log(1/ε))の通信複雑度を達成し、分散学習分野で知られている最良の理論的境界と一致した。また、アグノスティック設定下でO(opt(H)) + εの誤差保証を維持した。