[論文レビュー] Exploiting the Structure: Stochastic Gradient Methods Using Raw Clusters

Zeyuan Allen-Zhu, Yuan Yang+1 more|arXiv (Cornell University)|Feb 5, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用数 15

ひとこと要約

本論文では、データの原始的クラスタ構造を活用して経験的リスク最小化（ERM）を高速化する2つの確率的最適化アルゴリズム、ClusterACDM および ClusterSVRG を提案する。双対空間における新しいハール変換と、クラスタリングに基づいた分散低減勾配推定器を活用することで、特に Covtype や SensIT のようなよくクラスタリングされたデータセットにおいて、古典的な ACDM や SVRG よりも高速な収束を達成する。

ABSTRACT

The amount of data available in the world is growing faster than our ability to deal with it. However, if we take advantage of the internal \emph{structure}, data may become much smaller for machine learning purposes. In this paper we focus on one of the fundamental machine learning tasks, empirical risk minimization (ERM), and provide faster algorithms with the help from the clustering structure of the data. We introduce a simple notion of raw clustering that can be efficiently computed from the data, and propose two algorithms based on clustering information. Our accelerated algorithm ClusterACDM is built on a novel Haar transformation applied to the dual space of the ERM problem, and our variance-reduction based algorithm ClusterSVRG introduces a new gradient estimator using clustering. Our algorithms outperform their classical counterparts ACDM and SVRG respectively.

研究の動機と目的

• 大規模データセットにおける古典的確率的勾配法の非効率性を、データの内部に隠れたクラスタ構造を活用することで是正すること。
• 原始的クラスタリング情報を活用することで、標準的な ACDM や SVRG を上回るアルゴリズムの開発を目的とする。
• 複数回の学習ランにわたって amortized できる計算効率の良いクラスタ検出および計算パイプラインの設計。
• クラスタリングに配慮した最適化が、正確なクラスタリングや高い計算負荷を必要としないままに顕著な高速化を実現できることの実証。

提案手法

• データベクトルが s 個のクラスタに分割され、平均内クラスタ距離が δ 以下であるような (s, δ) 原始的クラスタリングの概念を導入する。
• ClusterACDM を提案し、ERM 問題の双対空間に新しいハール変換を適用することでクラスタ構造を活用する。
• ClusterSVRG を開発し、クラスタメンバーシップを活用して勾配近似を改善する新しい勾配推定器を用いた分散低減アルゴリズムである。
• LSH などの近似最近傍探索技術を用い、1 回の SAGA パass の一部に比例する時間で、原始的クラスタを効率的に検出・計算する。
• 2段階アプローチを採用：まず 0.3T の検出フェーズで良好なクラスタ構造の有無を確認し、構造が検出された場合にのみ約 3T の完全クラスタ計算を実行する。
• 複数回の学習ランにわたってクラスタ計算コストを amortized させることで、実際には無視できる程度のコストに抑える。

実験結果

リサーチクエスチョン

• RQ1 データの原始的クラスタ構造を活用することで、ERM 問題における収束を顕著に高速化できるか？
• RQ2 大規模データセットから、最小限の計算負荷で、効率的かつ頑健にクラスタリング情報を抽出できるか？
• RQ3 クラスタリングに配慮した最適化が、実際の応用において ACDM や SVRG といった古典的手法を上回れるか？
• RQ4 クラスタリングの品質（例：δ）が、提案手法の性能に与える影響は何か？
• RQ5 クラスタ計算の amortized コストは、全体の学習効率にどのように影響するか？

主な発見

• Covtype や SensIT のようなよくクラスタリングされたデータセットにおいて、ClusterACDM と ClusterSVRG は古典的な ACDM や SVRG よりも高速な収束を達成する。
• Covtype データセットでは、δ = 0.1 の原始的クラスタリングが 0.3T で検出され、約 3T で完全に計算される。複数回の学習にわたって amortized すると、クラスタリング時間は無視できるほど小さい。
• ClusterACDM のハール変換ステップは、1 回の SAGA パass 時間の約 1.3–3.4 倍の計算コストを要するが、これは amortized され、学習全体に占める割合は支配的ではない。
• ClusterSVRG と ClusterACDM は、複数のデータセットで一貫した高速化を示し、クラスタリングが弱い場合（例：News20）でも性能劣化がない。
• 不完全なクラスタリングに対しても頑健である：近似最近傍探索で見逃された近隣が存在しても、性能は安定に保たれる。
• 正確なクラスタリングを必要とせず、実世界の大規模データ処理応用に実用的であることが示された。