[論文レビュー] Greedy Column Subset Selection: New Bounds and Distributed Algorithms

Jason M. Altschuler, Aditya Bhaskara+4 more|arXiv (Cornell University)|May 27, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 31

ひとこと要約

本稿では、理論的裏付けのあるグリーディー列サブセット選択アルゴリズムを提示し、より良い近似保証を達成するとともに、最初の確実な性能保証を持つ分散実装を提供する。新しい解析により、グリーディー手法が r = k/(σ_min(OPT_k)ε) 個の列を用いて (1−ε)-近似を達成することを示し、確率的可換コアセットを用いた分散版を提案。これは大規模データセットに効率的にスケーリング可能であり、強力な理論的保証を維持する。

ABSTRACT

The problem of column subset selection has recently attracted a large body of research, with feature selection serving as one obvious and important application. Among the techniques that have been applied to solve this problem, the greedy algorithm has been shown to be quite effective in practice. However, theoretical guarantees on its performance have not been explored thoroughly, especially in a distributed setting. In this paper, we study the greedy algorithm for the column subset selection problem from a theoretical and empirical perspective and show its effectiveness in a distributed setting. In particular, we provide an improved approximation guarantee for the greedy algorithm which we show is tight up to a constant factor, and present the first distributed implementation with provable approximation factors. We use the idea of randomized composable core-sets, developed recently in the context of submodular maximization. Finally, we validate the effectiveness of this distributed algorithm via an empirical study.

研究の動機と目的

• 従来の研究が任意のコheren ceパラメータに依存するという限界を克服し、グリーディー列サブセット選択アルゴリズムの理論的近似保証をより厳密に与えること。
• 大規模データセットへのスケーラビリティを実現しつつ、確実な近似要因を維持するグリーディー手法の分散実装を設計・分析すること。
• 実世界のデータセット（MNIST や news20.binary を含む）を用いた実験的評価を通じて、分散グリーディー手法の有効性を示すこと。
• 分散環境における確率的列分割が、類似設定で失敗する決定的分割とは対照的に、優れた性能を発揮することを示すこと。
• コアセットを用いたグリーディー手法が、大規模データにおいて計算時間を顕著に短縮しつつも、近似最適な再構成および分類性能を維持できることを検証すること。

提案手法

• グリーディー列サブセット選択アルゴリズムの新たな近似解析を提案。r = k/(σ_min(OPT_k)ε) 回の反復で、最適解に対する (1−ε)-近似が達成されることを示す。
• 確率的可換コアセットの概念を用いて、複数のマシンで列を処理し、局所的選択を統合してグローバル解を得る分散アルゴリズムを設計する。
• 2フェーズの分散プロセスを実装：各マシンが局所的な列パーティション上で独立にグリーディー選択を実行し、次に上位の列の集合に対して最終的なグリーディー選択を実施。
• グリーディー手法のコアセット変種（GREEDY++）を導入。主成分分析の上位k個の右特異空間に基づいて事前に列をサンプリングすることで、主選択フェーズの計算オーバーヘッドを低減。
• ランダム到着モデルを活用し、確実な保証を持つ2パスストリーミングアルゴリズムを導出。大規模データストリームの効率的処理を可能にする。
• 上位k個のPCA射影行列を性能比較の上限として用い、選択された列が下流タスクにおいて有効であることを検証。

実験結果

リサーチクエスチョン

• RQ1 グリーディー列サブセット選択アルゴリズムの近似保証を、すべてのk列サブセットにおける最悪ケースに依存するのではなく、最適セットの条件数に依存するより厳密なものにできるか？
• RQ2 大規模データセットにスケーリング可能でありながら、確実な近似保証を維持するグリーディー手法の分散実装を設計することは可能か？
• RQ3 分散環境における列の確率的分割は、決定的分割よりも優れた性能を発揮するのか？その理由は何か？
• RQ4 大規模データセットにおいて、2-Phaseアルゴリズムなどの最先端手法と比較して、分散グリーディー手法の精度と実行時間の両面での性能はどの程度か？
• RQ5 グリーディー手法による列選択は、特にPCAと比較して、下流の分類性能をどの程度維持できるか？

主な発見

• グリーディー手法は r = k/(σ_min(OPT_k)ε) 個の列を用いて、最適な列サブセット選択に対する (1−ε)-近似を達成し、定数倍の誤差までタイトな境界であることが示された。
• 提案された分散グリーディー手法（Distgreedy）は、ランダム到着モデル下で2パスストリーミングアルゴリズムとして、確実な近似保証を持つ。
• MNISTデータセットでは、DistgreedyとGREEDY++が300列選択後、PCA性能の1%以内に収まり、再構成および分類精度の損失は最小限に抑えられた。
• 大規模な news20.binary データセットでは、DistgreedyはPCAの上界性能の90.6%に達する分類精度を達成したが、SVD計算を回避することで2-Phaseアルゴリズムと比べて桁違いに高速であった。
• 分散アルゴリズムは顕著な高速化を示し、news20.binary データセットでは2-Phaseアルゴリズムと比べて最大72.3倍速く、高い精度とスケーラビリティを維持した。
• 実験結果から、分散環境における確率的列分割が実用的で効果的であり、決定的分割戦略を上回ることが実証された。