[論文レビュー] Recycling Randomness with Structure for Sublinear time Kernel Expansions

Krzysztof Choromański, Vikas Sindhwani|arXiv (Cornell University)|May 29, 2016

Gaussian Processes and Bayesian Inference参考文献 24被引用数 21

ひとこと要約

本論文は、1つのガウスランダムベクトルを再利用することで得られる構造的ランダム行列を用いて、サブリニア時間のカーネル近似の一般枠組みを提案する。Fastfood手法を巡回行列、トーペリッツ行列、ハンケル行列、および低位移ランク行列に拡張し、不偏性と低分散を証明するとともに、コherenceとグラフ論的定数を用いて近似品質の理論的保証を提供する。これにより、スケーラブルなカーネル手法が可能になる。

ABSTRACT

We propose a scheme for recycling Gaussian random vectors into structured matrices to approximate various kernel functions in sublinear time via random embeddings. Our framework includes the Fastfood construction as a special case, but also extends to Circulant, Toeplitz and Hankel matrices, and the broader family of structured matrices that are characterized by the concept of low-displacement rank. We introduce notions of coherence and graph-theoretic structural constants that control the approximation quality, and prove unbiasedness and low-variance properties of random feature maps that arise within our framework. For the case of low-displacement matrices, we show how the degree of structure and randomness can be controlled to reduce statistical variance at the cost of increased computation and storage requirements. Empirical results strongly support our theory and justify the use of a broader family of structured matrices for scaling up kernel methods using random features.

研究の動機と目的

• 構造的ランダム行列を用いて、サブリニア時間でカーネル関数を近似する一般的で効率的な枠組みを開発すること。
• Fastfoodの構成を元来の範囲を超えて、巡回行列、トーペリッツ行列、ハンケル行列、および低位移ランク行列を含むように拡張すること。
• 構造的行列から導かれるランダム特徴マップの不偏性と低分散に関する理論的保証を提供すること。
• 近似品質とランダム性と構造のトレードオフを制御するためのコherenceとグラフ論的構造定数を導入すること。
• 構造的行列が、計算コストを削減しつつ完全にガウスランダム行列に近いカーネル近似品質を達成できることを実験的に検証すること。

提案手法

• 1つのガウスランダムベクトルを、基本的な生成行列の系列を用いて再利用することで、構造的ランダム行列を構築する。
• 巡回行列、トーペリッツ行列、ハンケル行列を含む低位移ランク行列を一般クラスとして用い、構造とランダムネスの間の制御されたトレードオフを可能にする。
• 近似誤差の制御に役立てるために、構造的コherenceとグラフ論的定数を定義する。
• アズマの不等式と和集合の上限を用いて、内積の集中を分析し、ランダム特徴マップの低分散を保証する。
• 高速変換（例：高速ウォルシュ＝ハダマール変換）を活用し、行列-ベクトル乗算の時間を O(kn) から O(k log n) に削減する。
• 期待されるカーネル推定値との差、および構造的ランダム特徴とガウスランダム特徴の分散に関する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つのガウスベクトルから導かれる構造的ランダム行列は、サブリニア時間で不偏かつ低分散のカーネル近似を達成できるか？
• RQ2 コherenceとグラフ論的定数は、構造的ランダム特徴マップにおけるカーネル近似品質にどのように影響するか？
• RQ3 低位移ランク行列は、統計的・計算的効率を維持したまま、Fastfoodの構成をどの程度一般化できるか？
• RQ4 位移ランクを増加させることで、計算コストと近似分散のトレードオフはどのように変化するか？
• RQ5 巡回行列やトーペリッツ行列などの構造的行列は、完全にガウスランダム行列に近いカーネル近似品質を達成できるか？

主な発見

• 提案された枠組みはFastfoodを一般化し、巡回行列、トーペリッツ行列、ハンケル行列を特別なケースとして含み、サブリニア時間でのカーネル近似を可能にする。
• 構造的行列に基づくランダム特徴マップは不偏であり、完全に非構造的なガウスケースと同等の分散を示す。
• コherenceとグラフ論的構造定数の導入により、近似品質と分散の理論的制御が可能になる。
• 低位移ランク行列は、計算効率と統計的分散の間のチューナブルなトレードオフを可能にし、高い位移ランクが近似品質の向上をもたらす。
• 実験結果により、巡回行列、Fastfood、および低位移ランクのトーペリッツ型行列が、サブリニア時間での特徴マップ構築において高品質なカーネル近似を達成することが確認された。
• 位移ランクが増加するにつれ、構造的行列の近似品質は完全にガウスランダム行列に近づき、理論的境界の妥当性が裏付けられた。