[論文レビュー] Towards A Unified Analysis of Random Fourier Features

Zhu Li, Jean-François Ton+2 more|Research Portal (King's College London)|Jun 24, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、二乗誤差およびリプシッツ連続損失関数を用いたランダムフーリエ特徴量における、初めての統合的リスク解析を提示する。正則化および有効自由度の観点から、計算コストとリスク収束速度の問題固有のトレードオフを確立し、既存の境界を改善するとともに、リッジリーバージュスコアに基づくデータに依存する採番法を導入し、証明可能な効率的近似スキームを提案する。

ABSTRACT

Random Fourier features is a widely used, simple, and effective technique for scaling up kernel methods. The existing theoretical analysis of the approach, however, remains focused on specific learning tasks and typically gives pessimistic bounds which are at odds with the empirical results. We tackle these problems and provide the first unified risk analysis of learning with random Fourier features using the squared error and Lipschitz continuous loss functions. In our bounds, the trade-off between the computational cost and the expected risk convergence rate is problem specific and expressed in terms of the regularization parameter and the \emph{number of effective degrees of freedom}. We study both the standard random Fourier features method for which we improve the existing bounds on the number of features required to guarantee the corresponding minimax risk convergence rate of kernel ridge regression, as well as a data-dependent modification which samples features proportional to \emph{ridge leverage scores} and further reduces the required number of features. As ridge leverage scores are expensive to compute, we devise a simple approximation scheme which provably reduces the computational cost without loss of statistical efficiency.

研究の動機と目的

• ランダムフーリエ特徴量における理論的境界の悲観的予測と強力な経験的性能の間のギャップを埋めること。
• 異なる学習タスクにわたるランダムフーリエ特徴量の理論的解析を統一すること。
• 計算コストと期待されるリスク収束速度の間の問題固有のトレードオフを導出すること。
• カーネルリッジ回帰のミニマックスリスク収束に対する特徴量の数に関する境界を改善すること。
• 統計的効率性を維持しながら必要な特徴量を削減するデータに依存する採番法を開発すること。

提案手法

• 二乗誤差およびリプシッツ連続損失関数を用いたランダムフーリエ特徴量の統合的リスク解析フレームワークを提案する。
• 正則化パラメータおよび有効自由度の観点から、計算コストとリスク収束速度のトレードオフを表現する。
• 標準的なランダムフーリエ特徴量手法を分析し、ミニマックスリスク収束に必要な特徴量数に関する既存の境界を改善する。
• リッジリーバージュスコアに比例して特徴量を採番するデータに依存する変種を導入し、特徴量数を削減する。
• リッジリーバージュスコアの証明可能な効率的近似スキームを構築し、統計的性能を損なわずに計算コストを削減する。
• 濃度不等式およびスペクトル解析を用いて、カーネルおよびデータ分布に対するきわめて弱い仮定の下での一般化境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 異なる学習タスクにわたるランダムフーリエ特徴量の統合的理論的解析をどのように開発できるか？
• RQ2 ランダムフーリエ特徴量学習における計算コストと期待されるリスク収束速度の正確なトレードオフは何か？
• RQ3 カーネルリッジ回帰のミニマックスリスク収束を維持しながら、必要な特徴量の数を削減できるか？
• RQ4 リッジリーバージュスコアに基づくデータに依存する採番法は、標準的なi.i.d.採番法と比較してどのように特徴量効率を向上させるか？
• RQ5 統計的性能を損なわせずに計算を削減できる、リッジリーバージュスコアの効率的近似を設計できるか？

主な発見

• 本稿は、カーネルリッジ回帰のミニマックスリスク収束に到達するためのランダムフーリエ特徴量の数に関する既存の境界を改善した。
• リッジリーバージュスコアに基づくデータに依存する採番法は、標準的なi.i.d.採番法と比較して必要な特徴量数を削減した。
• リッジリーバージュスコアの提案された近似スキームは、統計的効率性を損なわせずに計算コストを証明的に削減した。
• 統合的リスク解析は、正則化パラメータおよび有効自由度の観点から、計算コストとリスク収束のトレードオフを表現した。
• 経験的結果は、データに依存する手法が少ない特徴量で低いリスクを達成できることを確認しており、理論的予測と整合的である。