[论文解读] Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Aug 9, 2021

Machine Learning and ELM被引用 5

一句话总结

本教程与综述论文全面概述了随机投影技术，包括Johnson-Lindenstrauss引理、线性和非线性随机投影、随机傅里叶特征（RFF）以及随机厨具（RKS）。它解释了为何随机投影能在高概率下保持成对距离，通过理论界证明其有效性，并综述了在低秩矩阵逼近和近似最近邻搜索中的应用，同时涵盖了高级非线性方法，如ELM和集成随机投影。

ABSTRACT

This is a tutorial and survey paper on the Johnson-Lindenstrauss (JL) lemma and linear and nonlinear random projections. We start with linear random projection and then justify its correctness by JL lemma and its proof. Then, sparse random projections with $\\ell_1$ norm and interpolation norm are introduced. Two main applications of random projection, which are low-rank matrix approximation and approximate nearest neighbor search by random projection onto hypercube, are explained. Random Fourier Features (RFF) and Random Kitchen Sinks (RKS) are explained as methods for nonlinear random projection. Some other methods for nonlinear random projection, including extreme learning machine, randomly weighted neural networks, and ensemble of random projections, are also introduced.

研究动机与目标

• 提供线性和非线性随机投影方法用于降维的统一教程与综述。
• 基于Johnson-Lindenstrauss引理及其证明，建立理论基础，以证明随机投影的有效性。
• 探索利用随机投影进行低秩矩阵逼近和近似最近邻搜索等实际应用。
• 综述高级非线性随机投影技术，包括RFF、RKS、ELM和集成方法。
• 突出显示在特定场景下，随机投影相较于学习型投影方法在理论和实证上的优势。

提出的方法

• 推导Johnson-Lindenstrauss引理，并提供证明，表明随机投影能在高概率下保持成对距离。
• 引入使用ℓ₁范数和插值范数的稀疏随机投影，以降低计算成本，同时保持理论保证。
• 通过采样行/列并利用随机SVD重构，将随机投影应用于低秩矩阵逼近。
• 利用高维空间中测度集中现象，将随机投影应用于超立方体以实现高效的近似最近邻搜索。
• 解释随机傅里叶特征（RFF）作为一种非线性随机投影方法，通过随机傅里叶变换近似平移不变核函数。
• 引入随机厨具（RKS）方法，通过随机特征和随机权重近似核函数。
• 综述其他非线性方法，如极限学习机（ELM）、随机加权神经网络，以及基于装袋法和最大池化操作的集成型随机投影。

实验结果

研究问题

• RQ1 Johnson-Lindenstrauss引理如何从理论上证明随机投影在降维中的有效性？
• RQ2 使用ℓ₁范数和插值范数的稀疏随机投影的理论界和误差保证是什么？
• RQ3 随机投影在低秩矩阵逼近和近似最近邻搜索中有哪些有效应用方式？
• RQ4 随机傅里叶特征和随机厨具如何实现高效的非线性随机投影以近似核函数？
• RQ5 集成方法在随机投影中有哪些性能和泛化优势，特别是当组合多个随机投影时？

主要发现

• Johnson-Lindenstrauss引理保证了随机投影在高概率下保持点之间的成对欧几里得距离，且失真程度受用户定义参数的限制。
• 使用ℓ₁范数的稀疏随机投影在保持与密集投影相似的理论保证的同时，显著降低了存储和计算成本。
• 将随机投影应用于超立方体可借助高维空间中的测度集中现象，实现高效的近似最近邻搜索。
• 通过随机投影实现的低秩矩阵逼近在高概率下可达到接近最优的逼近误差，理论界已证明。
• 随机傅里叶特征和随机厨具通过使用随机特征近似平移不变核函数，为精确核方法提供了可扩展的替代方案。
• 集成方法如对多个随机投影进行最大池化或在不同随机投影上训练的分类器间进行多数投票，可降低方差并提升泛化性能。