[論文レビュー] Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Aug 9, 2021

Machine Learning and ELM被引用数 5

ひとこと要約

このチュートリアルおよびサーベイ論文は、ジョンソン＝リンデンストラウスの補題、線形および非線形ランダムプロジェクション、ランダムフォーリエ特徴量（RFF）、ランダムキッチンシンクス（RKS）を含むランダムプロジェクション技術について包括的な概要を提供する。ランダムプロジェクションが高確率で対比較距離を保存すること、理論的境界によってその有用性が正当化されること、低ランク行列近似および近似最近傍探索への応用が調査される一方で、ELM やアンサンブルランダムプロジェクションなどの高度な非線形手法もカバーされる。

ABSTRACT

This is a tutorial and survey paper on the Johnson-Lindenstrauss (JL) lemma and linear and nonlinear random projections. We start with linear random projection and then justify its correctness by JL lemma and its proof. Then, sparse random projections with $\\ell_1$ norm and interpolation norm are introduced. Two main applications of random projection, which are low-rank matrix approximation and approximate nearest neighbor search by random projection onto hypercube, are explained. Random Fourier Features (RFF) and Random Kitchen Sinks (RKS) are explained as methods for nonlinear random projection. Some other methods for nonlinear random projection, including extreme learning machine, randomly weighted neural networks, and ensemble of random projections, are also introduced.

研究の動機と目的

• 次元削減のための線形および非線形ランダムプロジェクション手法を統合的に解説し、サーベイすること。
• ジョンソン＝リンデンストラウスの補題とその証明を用いて理論的基盤を確立し、ランダムプロジェクションの有効性を正当化すること。
• 低ランク行列近似やランダムプロジェクションを用いた近似最近傍探索を含む実用的応用を調査すること。
• RFF、RKS、ELM、アンサンブル手法を含む高度な非線形ランダムプロジェクション技術をサーベイすること。
• 特定の状況下で、学習されたプロジェクション手法と比較してランダムプロジェクションが示す理論的および実験的利点を強調すること。

提案手法

• ジョンソン＝リンデンストラウスの補題を導出し、ランダムプロジェクションが高確率で対比較距離を保存することを示す証明を提示する。
• ℓ₁ノルムおよび補間ノルムを用いたスパースランダムプロジェクションを導入し、計算コストを削減しながら理論的保証を維持する。
• ランダム化特異値分解（SVD）を用いて行／列をサンプリングし再構築することで、ランダムプロジェクションを低ランク行列近似に適用する。
• 超立方体へのランダムプロジェクションを用いて、高次元における集中現象を活用した近似最近傍探索を実装する。
• ランダムフォーリエ変換を用いてシフト不変カーネルを近似する非線形ランダムプロジェクション手法としてランダムフォーリエ特徴量（RFF）を説明する。
• ランダム特徴量とランダム重みを用いてカーネル関数を近似する手法としてランダムキッチンシンクス（RKS）を導入する。
• 極端に学習速度の速い機械学習（ELM）、ランダム重み付きニューラルネットワーク、バギングおよび最大プーリングを用いたアンサンブルベースのランダムプロジェクションを含む、代替の非線形手法をサーベイする。

実験結果

リサーチクエスチョン

• RQ1 ジョンソン＝リンデンストラウスの補題は、次元削減におけるランダムプロジェクションの使用をどのように理論的に正当化するか？
• RQ2 ℓ₁ノルムおよび補間ノルムを用いたスパースランダムプロジェクションの理論的境界および誤差保証は何か？
• RQ3 ランダムプロジェクションは、低ランク行列近似および近似最近傍探索にどのように効果的に応用できるか？
• RQ4 ランダムフォーリエ特徴量（RFF）およびランダムキッチンシンクス（RKS）は、シフト不変カーネルの近似にどのように効率的な非線形ランダムプロジェクションを可能にするか？
• RQ5 アンサンブル手法は、複数のランダムプロジェクションを組み合わせた場合に、性能および一般化性能にどのような利点をもたらすか？

主な発見

• ジョンソン＝リンデンストラウスの補題は、ユーザーが定義したパラメータによって歪みが制限される高確率で、ランダムプロジェクションが点間のユークリッド距離を保存することを保証する。
• ℓ₁ノルムを用いたスパースランダムプロジェクションは、密なプロジェクションと同等の理論的保証を維持しながら、ストレージおよび計算コストを削減する。
• 超立方体へのランダムプロジェクションは、高次元における集中現象を活用することで、効率的な近似最近傍探索を可能にする。
• ランダムプロジェクションを用いた低ランク行列近似は、理論的境界によって示されるように、高確率で近似的に最適な誤差を達成する。
• ランダムフォーリエ特徴量（RFF）およびランダムキッチンシンクス（RKS）は、ランダム特徴量を用いてシフト不変カーネルを近似することで、正確なカーネル手法のスケーラブルな代替手段を提供する。
• 最大プーリングを複数のランダムプロジェクションに適用する、または異なるランダムプロジェクションで訓練された分類器の多数決を取るなど、アンサンブル手法は分散を低減し、一般化性能を向上させる利点がある。