[論文レビュー] LOCO: Distributing Ridge Regression with Random Projections

Christina Heinze, Brian McWilliams+2 more|arXiv (Cornell University)|Jun 13, 2014

Stochastic Gradient Optimization Techniques参考文献 30被引用数 17

ひとこと要約

LOCOは、特徴量の構造的ランダムプロジェクションを用いて特徴量の依存関係を保持しながら、ワーカー間で特徴量を分割する低通信量分散リッジ回帰アルゴリズムである。最小限の同期で正確なリッジ回帰に近い解を得ることができ、大規模かつ高次元のデータセットにおいて顕著な高速化を実現しながら統計的精度を維持する。

ABSTRACT

We propose LOCO, an algorithm for large-scale ridge regression which distributes the features across workers on a cluster. Important dependencies between variables are preserved using structured random projections which are cheap to compute and must only be communicated once. We show that LOCO obtains a solution which is close to the exact ridge regression solution in the fixed design setting. We verify this experimentally in a simulation study as well as an application to climate prediction. Furthermore, we show that LOCO achieves significant speedups compared with a state-of-the-art distributed algorithm on a large-scale regression problem.

研究の動機と目的

• 大規模かつ高次元のデータセットへのリッジ回帰の拡張を可能にするために、特徴量のパーティションに沿って計算を分散化すること。
• 次元削減による信号の損失を避けるために、構造的ランダムプロジェクションを用いて特徴量の依存関係を保持することで統計的精度を維持すること。
• ワーカー間の通信と同期を最小限に抑え、メモリ制限のあるクラスタベース環境における効率的な分散計算を実現すること。
• 固定設計下での解の品質に理論的保証を提供し、最適なリッジ回帰解との誤差が有界であることを示すこと。
• 気象予測などの実世界の問題において、最先端の分散アルゴリズムを上回る実用的かつ顕著な高速化と精度を示すこと。

提案手法

• LOCOは、データ行列をK個のブロックに特徴量ごとに分割し、それぞれをワーカーに割り当てる。
• 各ワーカーは、特徴相関をランダムプロジェクションにより保持するため、部分的にサンプリングされたランダムハダマード変換（SRHT）をデータに適用する。
• 投影されたデータ行列の特異値の境界が安定するように、K個のパーティション全体にわたってバランスの取れたランダムな行サンプリング戦略を採用する。
• 最終的な係数推定値は、個々のワーカーの解を組み合わせることで再構成され、解釈可能性を保つために元の特徴空間を維持する。
• LOCOは一度だけプロジェクションを計算して再利用することで同期を回避し、通信オーバーヘッドを最小限に抑える。
• 理論的分析では、行列チェルノフの不等式を用いて、投影されたデータが元の行列の特異値を高い確率で保持することを示している。

実験結果

リサーチクエスチョン

• RQ1 特徴量に沿ってリッジ回帰を効果的に分散化しつつ、統計的精度を維持し、通信量を最小限に抑えることは可能か？
• RQ2 固定設計設定下でLOCOの解は、正確なリッジ回帰解にどの程度近いか？
• RQ3 ランダムプロジェクションのサイズとワーカー数の増加が、解の品質と計算の高速化に与える影響は何か？
• RQ4 大規模かつ高次元のデータに対して、LOCOは既存の分散リッジ回帰アルゴリズムに比べて顕著な性能向上を達成できるか？
• RQ5 信号が上位主成分に集中している場合、LOCOは良好な統計的性質を維持できるか？

主な発見

• 固定設計設定下では、LOCOの解は正確なリッジ回帰解に理論的に近いものであり、信号の大部分が上位主成分に集中している場合に誤差が有界であることが保証されている。
• 大規模な回帰問題において、実験的評価で最先端の分散アルゴリズムを上回る顕著な高速化を達成した。
• 理論的境界では、投影されたデータ行列の特異値が期待値のまわりにきわめて集中していることが示され、安定した解の品質が保証されている。
• LOCOは、標準的なランダムプロジェクション手法とは異なり、元の特徴空間での高い予測精度と係数の解釈可能性を維持している。
• 気象予測の応用例では、通信量を最小限に抑えながらも正確な結果を達成し、実世界の高次元環境における実用的有用性を示した。
• 構造的ランダムプロジェクション（SRHT）の使用により、圧縮ステップが計算的に安価で通信効率が良く、スケーラビリティが確保されている。