[論文レビュー] Optimistic Concurrency Control for Distributed Unsupervised Learning

Xinghao Pan, Joseph E. Gonzalez+3 more|arXiv (Cornell University)|Jul 30, 2013

Data Stream Mining Techniques参考文献 26被引用数 15

ひとこと要約

本稿では、分散教師なし学習における楽観的同時実行制御（OCC）を提案し、衝突が発生する際にのみ検出・是正することで、正しさの保証を得つつ高い並列性を実現する。DP-Means、BP-Means、オンライン施設配置にOCCを適用し、大規模クラスタ実験においてほぼ完璧なスケーラビリティを達成するとともに、逐次アルゴリズムの理論的性質を維持した。

ABSTRACT

Research on distributed machine learning algorithms has focused primarily on one of two extremes - algorithms that obey strict concurrency constraints or algorithms that obey few or no such constraints. We consider an intermediate alternative in which algorithms optimistically assume that conflicts are unlikely and if conflicts do arise a conflict-resolution protocol is invoked. We view this "optimistic concurrency control" paradigm as particularly appropriate for large-scale machine learning algorithms, particularly in the unsupervised setting. We demonstrate our approach in three problem areas: clustering, feature learning and online facility location. We evaluate our methods via large-scale experiments in a cluster computing environment.

研究の動機と目的

• 分散機械学習における相互排他による調整オーバーヘッドと、調整なしアプローチの正しさの欠如というトレードオフを解消すること。
• クラスタリングや特徴学習のような反復的教師なし学習アルゴリズムの、スケーラブルで正しく、理論的に妥当な並列化を可能にすること。
• 楽観的同時実行制御が、並列実行の高い性能を達成しつつ、実行可能性とアルゴリズム的保証を保持できることを示すこと。
• 非パラメトリッククラスタリングを近似保証付きの施設配置問題として再解釈し、効率的な分散設計を可能にすること。

提案手法

• 衝突がまれであると仮定して、同時に状態更新を実行できる楽観的同時実行制御（OCC）を採用する。
• トランザクションをモデル状態（例：センターの割り当てやパラメータ更新）に対する個々またはグループ化された操作として定義する。
• コミットの前に実行可能性の不変条件を検証する検証チェックを用いて、衝突を検出する。
• ロックを用いずに、ロールバックまたは再計算により衝突したトランザクションを是正し、正しさを保証する。
• モデルのスパarsityと対称性を活用して、衝突の発生確率を低減し、スケーラビリティを向上させる。
• 理論的正しさとスケーラビリティの分析を伴い、DP-Means、BP-Means、オンライン施設配置（OFL）の3つの教師なし学習アルゴリズムにOCCを統合する。

実験結果

リサーチクエスチョン

• RQ1 楽観的同時実行制御は、理論的保証を維持しつつ、分散教師なし学習に効果的に適用可能か？
• RQ2 反復的学習アルゴリズムにおいて、OCCは相互排他と調整なしアプローチと比べて、性能と正しさの点でどのように差を示すか？
• RQ3 OCCは、大規模クラスタリングおよび特徴学習ワークロードにおいて、どれほどほぼ完璧なスケーリングを達成できるか？
• RQ4 非パラメトリッククラスタリングは、分散環境下で近似保証付きの施設配置問題として再解釈可能か？
• RQ5 衝突検出および是正メカニズムは、実際の性能と収束にどのように影響を与えるか？

主な発見

• OCC DP-MeansとBP-Meansは64台のマシンでほぼ完璧なスケーリングを達成し、正規化された実行時間はマシン数に比例して減少した。
• OCC OFLは初期段階で多くの操作が拒否されたが、後続のエポックで急速に改善され、時間の経過とともに強いスケーリングを示した。
• OCCアプローチは、元の逐次アルゴリズムの理論的性質と近似保証を維持しており、OFLのものも含めて同様であった。
• 衝突検出メカニズムにより、モデルのスパarsityと対称性のおかげで衝突がまれに発生したため、最小限のオーバーヘッドで高い並列性が実現された。
• 最大800万件のデータポイントを含むクラスタ上で得られた実験結果は、3つのアルゴリズムすべてで強力な性能と線形スループット向上を確認した。
• このフレームワークにより、衝突検出スイッチを介して、安定で正しいOCCとより高速な調整なし実行の間で柔軟に切り替えが可能になった。