[論文レビュー] Tradeoffs for Space, Time, Data and Risk in Unsupervised Learning

Mario Lučić, Mesrob I. Ohannessian+2 more|arXiv (Cornell University)|May 2, 2016

Machine Learning and Algorithms参考文献 26被引用数 16

ひとこと要約

本稿では、非教師あり学習におけるメモリ、実行時間、データサイズ、統計的リスクのトレードオフを扱うコアセットベースのフレームワークを提案する。適切に要約されたデータを用いることで、著者らはk-meansおよびガウス・ミックス・モデルの学習を高速化しつつ、証明可能なリスク保証を達成した。TRAMアルゴリズムを用いた知的な要約と組み合わせることで、データサイズが大きくなるほど実行時間が短縮されることが実証された。

ABSTRACT

Faced with massive data, is it possible to trade off (statistical) risk, and (computational) space and time? This challenge lies at the heart of large-scale machine learning. Using k-means clustering as a prototypical unsupervised learning problem, we show how we can strategically summarize the data (control space) in order to trade off risk and time when data is generated by a probabilistic model. Our summarization is based on coreset constructions from computational geometry. We also develop an algorithm, TRAM, to navigate the space/time/data/risk tradeoff in practice. In particular, we show that for a fixed risk (or data size), as the data size increases (resp. risk increases) the running time of TRAM decreases. Our extensive experiments on real data sets demonstrate the existence and practical utility of such tradeoffs, not only for k-means but also for Gaussian Mixture Models.

研究の動機と目的

• データ要約が非教師あり学習における計算リソース（実行時間、メモリ）と統計的リスクの間のトレードオフを可能にする方法を調査すること。
• データサイズの増加に伴い計算コストが増加する大規模学習の課題に取り組むこと。一般的に、データサイズの増加はリスクの低減をもたらすのではなく、むしろ計算コストを増加させる。
• オラクルに依存せずに、空間／時間／データ／リスクのトレードオフを効果的に管理できる実用的なアルゴリズムを開発すること。
• 凸問題にとどまらない計算統計的トレードオフを実現するため、学習アルゴリズムを弱める代わりに、データ表現を弱める手法を提案すること。
• k-meansおよびガウス・ミックス・モデルにおけるこのようなトレードオフの存在と実用性を実験的に検証すること。

提案手法

• 計算幾何学におけるコアセット構築手法を用い、k-meansクラスタリングの解の品質を保つように、大規模データセットを小さな代表的サブセットに要約する。
• 要約されたデータ上で重み付きk-means++および重み付きEMアルゴリズムを適用し、効率的に学習問題を解く。
• リスクと実行時間をバランスさせるために、要約サイズと切り捨てサイズを動的に調整する実用的アルゴリズムTRAMを提案する。
• TRAMでは、二分探索に類似した戦略を採用：各反復で切り捨てサイズを2倍にし、要約サイズを1.5倍の要因で小さくすることで、トレードオフ曲線を探索する。
• リスク推定と最適なトレードオフ点の探索を支援するために、検証セット（データの1/5）を用いる。
• 理論的コアセットバウンドを活用し、コアセット上で得られた解が、完全なデータセットの解と所定のリスク許容範囲内で近似できることを保証する。

実験結果

リサーチクエスチョン

• RQ1 データサイズが増加する中でも、コアセットによるデータ要約が非教師あり学習における実行時間とリスクのトレードオフを可能にするか？
• RQ2 実際の応用において、空間、時間、データ、リスクの四次元トレードオフ空間を体系的にどのようにナビゲートできるか？
• RQ3 一様なサブサンプリングと比較して、戦略的なデータ要約は、同じ実行時間でより低いリスクを達成できるか？
• RQ4 k-meansやGMMのような非凸問題において、このようなトレードオフを実際に実現できるか？
• RQ5 総当り的探索を伴わずに、時間／リスクトレードオフにおいてほぼオラクル性能に近い結果を得ることは可能か？

主な発見

• 固定されたリスク許容範囲において、コアセットを用いることでデータサイズが大きくなるほど実行時間が短縮されることが確認され、データ／実行時間のトレードオフが実証された。
• TRAMは、すべてのデータセットにおいてコアセットオラクルに非常に近い実行時間を達成しており、一様サブサンプリングと比較して僅かなオーバーヘッドしか発生しない。
• TRAMは、総当り的探索で評価されるよりも計算コストが高くなる一様サブサンプリングでさえも、性能で上回った。
• 固定されたデータサイズにおいて、リスク許容範囲を拡大することで必要な実行時間が短縮されることが確認され、リスク／実行時間トレードオフの存在が裏付けられた。
• コアセットベースのアプローチにより、Yahoo! WebScopeのような大規模データセットにおけるGMMの学習時間を週単位から数分にまで短縮し、低リスクを維持することが可能になった。
• 合成データおよびKDD2004BIO、CSN、WEBSCOPEデータセットにおける実験結果から、コアセットは時間／リスクトレードオフ空間において一様サブサンプリングを常に上回ることが確認された。