[论文解读] Recycling Randomness with Structure for Sublinear time Kernel Expansions

Krzysztof Choromański, Vikas Sindhwani|arXiv (Cornell University)|May 29, 2016

Gaussian Processes and Bayesian Inference参考文献 24被引用 21

一句话总结

该论文提出了一种通用框架，通过复用单个高斯随机向量生成的结构化随机矩阵，实现在亚线性时间内的核近似。该方法将Fastfood方法扩展至包含循环矩阵、托普利茨矩阵、汉克尔矩阵以及低位移秩矩阵，证明了其无偏性和低方差，同时通过相干性与图论常数，为可扩展核方法提供了近似质量的理论保证。

ABSTRACT

We propose a scheme for recycling Gaussian random vectors into structured matrices to approximate various kernel functions in sublinear time via random embeddings. Our framework includes the Fastfood construction as a special case, but also extends to Circulant, Toeplitz and Hankel matrices, and the broader family of structured matrices that are characterized by the concept of low-displacement rank. We introduce notions of coherence and graph-theoretic structural constants that control the approximation quality, and prove unbiasedness and low-variance properties of random feature maps that arise within our framework. For the case of low-displacement matrices, we show how the degree of structure and randomness can be controlled to reduce statistical variance at the cost of increased computation and storage requirements. Empirical results strongly support our theory and justify the use of a broader family of structured matrices for scaling up kernel methods using random features.

研究动机与目标

• 开发一种通用且高效的框架，利用结构化随机矩阵实现在亚线性时间内的核函数近似。
• 将Fastfood构造方法扩展至原始范围之外，涵盖循环矩阵、托普利茨矩阵、汉克尔矩阵以及低位移秩矩阵。
• 为基于结构化矩阵的随机特征映射提供无偏性和低方差的理论保证。
• 引入相干性与图论结构性常数，以控制近似质量并调节随机性与结构之间的权衡。
• 通过实验验证，结构化矩阵可在计算成本降低的前提下，实现与全高斯随机矩阵相近的核近似质量。

提出的方法

• 通过一系列初等生成矩阵复用单个高斯随机向量，构建结构化随机矩阵。
• 将低位移秩矩阵作为一类通用矩阵，涵盖循环矩阵、托普利茨矩阵与汉克尔矩阵，实现结构与随机性之间的可控权衡。
• 定义结构性相干性与图论常数，以量化随机性质量并控制近似误差。
• 应用Azuma不等式与联合界分析，研究内积的集中性，确保随机特征映射的低方差。
• 利用快速变换（如快速沃尔什-哈达玛变换）将矩阵-向量乘法时间从O(kn)降低至O(k log n)。
• 推导出期望核估计值与结构化随机特征及高斯随机特征之间方差差异的界。

实验结果

研究问题

• RQ1 能否通过单个高斯向量生成的结构化随机矩阵，在亚线性时间内实现无偏且低方差的核近似？
• RQ2 相干性与图论常数如何影响结构化随机特征映射中的核近似质量？
• RQ3 低位移秩矩阵在多大程度上可推广Fastfood构造，同时保持统计与计算效率？
• RQ4 增加位移秩如何影响计算成本与近似方差之间的权衡？
• RQ5 像循环矩阵与托普利茨矩阵这样的结构化矩阵能否实现与全高斯随机矩阵相当的核近似质量？

主要发现

• 所提出的框架推广了Fastfood方法，将循环矩阵、托普利茨矩阵与汉克尔矩阵作为特例，实现了亚线性时间核近似。
• 基于结构化矩阵的随机特征映射是无偏的，且其方差与全无结构高斯情况相当。
• 引入相干性与图论结构性常数，使得对近似质量与方差的理论控制成为可能。
• 低位移秩矩阵允许在计算效率与统计方差之间进行可调权衡，位移秩越高，近似质量越好。
• 实验结果证实，循环矩阵、Fastfood以及低位移托普利茨类矩阵可在亚线性时间构建特征映射的前提下，实现高质量的核近似。
• 随着位移秩的增加，结构化矩阵的近似质量趋近于全高斯随机矩阵，验证了理论边界的正确性。