[論文レビュー] Projected support points: a new method for high-dimensional data reduction

Simon Mak, V. Roshan Joseph|arXiv (Cornell University)|Aug 23, 2017

3D Shape Modeling and Analysis参考文献 4被引用数 11

ひとこと要約

本稿では、スパarsity誘導（SpIn）カーネルを活用して低次元特徴を保持する高次元データセット向けの新しいデータ削減手法、Projected Support Points（PSPs）を提案する。PSPsを実験設計および準モンテカルロ法と結びつけることで、スパarsity条件下において次元の呪いを克服し、ビッグデータのサブサンプリングと主要化最小化最適化を用いたワンショットおよび逐次的削減が可能になる。この手法はカーネル学習およびMCMC削減の分野で実証的に成功を収めた。

ABSTRACT

In an era where big and high-dimensional data is readily available, data scientists are inevitably faced with the challenge of reducing this data for expensive downstream computation or analysis. To this end, we present here a new method for reducing high-dimensional big data into a representative point set, called projected support points (PSPs). A key ingredient in our method is the so-called sparsity-inducing (SpIn) kernel, which encourages the preservation of low-dimensional features when reducing high-dimensional data. We begin by introducing a unifying theoretical framework for data reduction, connecting PSPs with fundamental sampling principles from experimental design and Quasi-Monte Carlo. Through this framework, we then derive sparsity conditions under which the curse-of-dimensionality in data reduction can be lifted for our method. Next, we propose two algorithms for one-shot and sequential reduction via PSPs, both of which exploit big data subsampling and majorization-minimization for efficient optimization. Finally, we demonstrate the practical usefulness of PSPs in two real-world applications, the first for data reduction in kernel learning, and the second for reducing Markov Chain Monte Carlo (MCMC) chains.

研究の動機と目的

• 高次元ビッグデータの削減を、下流の計算が高価である場合、特に下流関数gが僅か数次元でのみ活性化される状況において効果的に実行する。
• 既存のデータ削減手法がgが全次元で活性化すると仮定しているため、次元の呪いを克服する。
• 新しいスパarsity誘導（SpIn）カーネルを用いて、高次元データ内の低次元構造を理論的に裏付けられた方法で保持する。
• ビッグデータのサブサンプリングと主要化最小化最適化を用いて、効率的なワンショットおよび逐次的データ削減を実現する。
• 実世界の応用、特にカーネル学習およびMCMCチェーンの削減において実用的有効性を示す。

提案手法

• PSPsを実験設計および準モンテカルロ法と結びつける包括的理論枠組みを提案し、削減手法の正当性を裏付ける。
• データ削減中に低次元特徴の保持を促進する新しいスパarsity誘導（SpIn）カーネルを導入する。
• 次元の呪いが解消されるスパarsity条件を導出し、理論的スケーラビリティを保証する。
• ワンショット削減用と逐次的削減用の2つのアルゴリズムを開発し、両者ともビッグデータのサブサンプリングと主要化最小化を用いて効率的な最適化を実現する。
• SpInカーネルを上界で抑えるために、主要化放物面を用い、凸リラクゼーションによる凸最適化を可能にする。
• カーネル精度行列の対角成分を再帰的に計算することで、SpInカーネルのパラメータを効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 下流関数gが僅か数次元でのみ活性化される場合に、高次元データに対して耐性を持つデータ削減手法は構築可能か？
• RQ2 gにおけるどのスパarsity構造が、データ削減における次元の呪いの克服を可能にするか？
• RQ3 低次元特徴の優先を実現するように、新しいカーネル関数をどのように設計できるか？
• RQ4 サブサンプリングと最適化技術を用いて、ビッグデータにスケーリング可能な効率的ワンショットおよび逐次的削減アルゴリズムを開発できるか？
• RQ5 提案手法PSPは、カーネル学習およびMCMC削減において、既存手法と比較して性能で優れるか？

主な発見

• PSP手法は、スパarsity誘導（SpIn）カーネルを活用することで、高次元データの削減を実現しつつ、低次元特徴を効果的に保持した。
• 理論的分析により、スパarsity条件下では次元の呪いが解消され、スケーラブルなデータ削減が可能であることが示された。
• ワンショットおよび逐次的PSPアルゴリズムは、ビッグデータのサブサンプリングと主要化最小化により、効率的な最適化を達成し、計算の実行可能性を保証した。
• カーネル学習では、PSPsによりトレーニングデータサイズを大幅に削減しながらも予測精度を維持し、計算コストを削減した。
• MCMC削減では、PSPsにより高次元事後分布サンプルの高価なシミュレーションへの効果的伝搬が可能になり、ストレージおよび計算負荷を削減した。
• SpInカーネルパラメータの再帰的計算により、高次元問題に対しても効率的かつスケーラブルな実装が実現した。