[論文レビュー] Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond

Fanghui Liu, Xiaolin Huang+2 more|arXiv (Cornell University)|Apr 23, 2020

Machine Learning and Data Classification参考文献 178被引用数 20

ひとこと要約

本調査は、カーネル近似のためのランダム特徴量に関する包括的な概要を提供しており、アルゴリズム、理論、深層学習への関連性をカバーしている。RFF、ORF、SSFなどの手法を大規模データセットで評価した結果、構造的ランダム特徴量は優れた近似品質と競争力のある推論速度を達成し、優れた一般化性能を維持していることが示された。

ABSTRACT

Random features is one of the most popular techniques to speed up kernel methods in large-scale problems. Related works have been recognized by the NeurIPS Test-of-Time award in 2017 and the ICML Best Paper Finalist in 2019. The body of work on random features has grown rapidly, and hence it is desirable to have a comprehensive overview on this topic explaining the connections among various algorithms and theoretical results. In this survey, we systematically review the work on random features from the past ten years. First, the motivations, characteristics and contributions of representative random features based algorithms are summarized according to their sampling schemes, learning procedures, variance reduction properties and how they exploit training data. Second, we review theoretical results that center around the following key question: how many random features are needed to ensure a high approximation quality or no loss in the empirical/expected risks of the learned estimator. Third, we provide a comprehensive evaluation of popular random features based algorithms on several large-scale benchmark datasets and discuss their approximation quality and prediction performance for classification. Last, we discuss the relationship between random features and modern over-parameterized deep neural networks (DNNs), including the use of high dimensional random features in the analysis of DNNs as well as the gaps between current theoretical and empirical results. This survey may serve as a gentle introduction to this topic, and as a users' guide for practitioners interested in applying the representative algorithms and understanding theoretical results under various technical assumptions. We hope that this survey will facilitate discussion on the open problems in this topic, and more importantly, shed light on future research directions.

研究の動機と目的

• 過去10年間におけるカーネル近似のためのランダム特徴量手法の体系的レビューを提供すること。
• さまざまなアルゴリズム、そのサンプリング方式、分散低減、およびデータ活用戦略の間の関係を明確にすること。
• 高い近似品質および一般化品質を維持するために必要なランダム特徴量の数に関する理論的境界を分析すること。
• 分類タスクのための大規模ベンチマークデータセットにおいて、代表的なアルゴリズムの実験的性能を評価すること。
• ランダム特徴量と過剰にパラメータ化された深層ニューラルネットワークとの関係を探索し、理論的および実験的ギャップを明らかにすること。

提案手法

• サンプリング方式（例：i.i.d.、構造的、準モンテカルロ）、学習手順、分散低減技術に基づいてランダム特徴量アルゴリズムを分類する。
• 低実効リスクおよび期待リスクを保証するためのランダム特徴量の必要数に関する理論的結果をレビューし、一般化境界に焦点を当てる。
• カーネルリッジ回帰およびロジスティック回帰を用いて、複数の大規模データセット（例：MNIST-8M、covtype、letter）で統一された評価フレームワークを採用する。
• 構造的サンプリングパターンを活用することで近似精度を向上させる、構造的ランダム特徴量（例：ORF、SORF、SSF）を導入・評価する。
• メモリ制約下での超大規模データセット（例：MNIST-8M）を処理するため、データストリーミングに対応した二重確率的フレームワークを適用する。
• 近似誤差、トレーニング/テスト誤差、総合時間コストなどの指標を用いて、RFF、Fastfood、QMC、GQ、LS-RFFなどの手法間の時間と精度のトレードオフを比較する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.、構造的、準モンテカルロなどの異なるランダム特徴量サンプリング方式は、近似品質および計算効率においてどのように比較されるか？
• RQ2 カーネル近似において低一般化誤差を達成するために必要なランダム特徴量の数に関する理論的境界は何か？
• RQ3 さまざまなカーネルタイプ（ガウス、アークコサイン、多項式）およびデータセットにおいて、ランダム特徴量手法は大規模分類タスクでどのように実験的に性能を発揮するか？
• RQ4 ランダム特徴量と過剰にパラメータ化された深層ニューラルネットワークとの関係は何か？また、ランダム特徴量理論はDNN分析にどのように寄与できるか？
• RQ5 ランダム特徴量およびディープラーニングの文脈において、理論的予測と実験的結果の間の主なギャップは何か？

主な発見

• MNIST-8Mデータセットにおいて、ガウスカーネルの近似誤差はORFおよびSORFが最も低く（0.0041）、RFF（0.0126）およびFastfood（0.0159）を上回った。
• ゼロ次アーキコサインカーネルでは、ORFおよびSORFが最良の近似誤差（0.0224および0.0231）を達成したが、RMは多項式型カーネルに不適切なスケッチングのため、著しく劣った（0.0448）。
• ガウスカーネルにおいて、SSFが最良の近似誤差（0.0078）を達成したが、ORFおよびSORFもわずかに高い時間コストを伴いながらも競争力を持っていた。
• アーキコサインカーネルにおいて、ORFおよびSORFはデータセット全体で一貫した性能を示し、arccos0ではテスト誤差約2.7%、arccos1では1.5%を記録し、RMおよびFastfoodを上回った。
• 時間コストには顕著な差が見られた：ガウスカーネルではLS-RFFが最も遅く（15,725秒）、arccos1ではSORFが最も速く（8,861.6秒）なった。これは、精度と速度のトレードオフを示している。
• 一部のケース（例：arccos0におけるRMの0.0448）では高い近似誤差を示したが、Maclaurin展開に基づくスケッチングのおかげで計算が高速であったため、低遅延アプリケーションに適していた。