[論文レビュー] Generalization Properties of Learning with Random Features

Alessandro Rudi, Lorenzo Rosasco|arXiv (Cornell University)|Feb 14, 2016

Machine Learning and Algorithms参考文献 50被引用数 76

ひとこと要約

この論文は、標準的な仮定の下で、ランダム特徴量を用いたリッジ回帰が、$O(1/\\-sqrt{n})$ の一般化誤差を達成できることを確立している。そのために必要な特徴量の数は $O(\sqrt{n}\log n)$ にまで削減可能であり、これまでは $O(n)$ 必要だと考えられていたものより顕著に少ない。さらに、より多くの特徴量や問題固有のサンプリングを行うことで、より速い収束速度が達成可能であり、大規模カーネル学習における統計的・計算的トレードオフが明らかになった。

ABSTRACT

We study the generalization properties of ridge regression with random features in the statistical learning framework. We show for the first time that $O(1/\sqrt{n})$ learning bounds can be achieved with only $O(\sqrt{n}\log n)$ random features rather than $O({n})$ as suggested by previous results. Further, we prove faster learning rates and show that they might require more random features, unless they are sampled according to a possibly problem dependent distribution. Our results shed light on the statistical computational trade-offs in large scale kernelized learning, showing the potential effectiveness of random features in reducing the computational complexity while keeping optimal generalization properties.

研究の動機と目的

• ランダム特徴量を用いた大規模カーネル化学習における理論的理解と実用的効率性のギャップを埋めること。
• リッジ回帰において最適な一般化誤差を維持するために必要な最小のランダム特徴量の数を特定すること。
• より速い学習速度がランダム特徴量で達成可能かどうか、またその条件を調査すること。
• ランダム化カーネル近似における計算コストと統計的性能のトレードオフを分析すること。

提案手法

• 再生核ヒルバート空間（RKHS）設定を仮定した統計的学習フレームワークにおいて、ランダム特徴量を用いたリッジ回帰を分析する。
• 一般化誤差のバウンディングに、集中不等式および確率的不等式を用いる。
• カーネルリッジ回帰理論からの解析的ツールを適用し、推定誤差の鋭いバウンディングを導出する。
• 統計的リーバーメントスコアにインspiredされた問題依存のサンプリングスキームを導入し、必要な特徴量数を削減する。
• 一般のカーネルクラスと非一様サンプリングを考慮することで、先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\
• 先行研究のNystr\

実験結果

リサーチクエスチョン

• RQ1 ランダム特徴量を用いることで、完全なカーネルリッジ回帰と同等の一般化誤差を達成できるか？
• RQ2 最適な一般化誤差 $O(1/\sqrt{n})$ を維持するために必要な最小のランダム特徴量の数は何か？
• RQ3 より速い学習速度はランダム特徴量で達成可能か？ もしそうなら、どのような条件下で達成可能か？
• RQ4 非一様なランダム特徴量のサンプリングは、最適性能を達成するために必要な特徴量数にどのように影響するか？
• RQ5 ランダム特徴量近似における計算効率と統計的正確性のトレードオフは何か？

主な発見

• この論文は、$O(\sqrt{n}\log n)$ 個のランダム特徴量で十分であり、$O(1/\sqrt{n})$ の一般化誤差を達成できることを証明している。これは、正確なカーネルリッジ回帰の性能と一致する。
• この結果は、以前の研究が同様の誤差バウンディングを達成するために $O(n)$ 個の特徴量を必要としていたのと比較して、計算上の節約が正確性の損失を伴わないことを示している。
• より速い学習速度（例：$O(1/n)$）は達成可能であるが、その場合、問題の滑らかさやデータ分布に応じて特徴量の数が適切にスケーリングされる必要がある。
• データ生成分布やリーバーメントスコアに基づく非一様な特徴量のサンプリングにより、高速なレートを達成するために必要な特徴量数を削減できる。
• 数値実験により理論的バウンディングが妥当であることが検証され、予測された一般化誤差と観測された誤差の間に良好な一致が得られた。
• 分析により、根本的な統計的・計算的トレードオフが明らかになった。最適な正確性は、問題に適合したサンプリングが行われる限り、非線形の特徴量数で維持可能である。