[論文レビュー] Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration

Kwang-Sung Jun, Ashok Cutkosky+1 more|arXiv (Cornell University)|Jan 1, 2019

Statistical Methods and Inference被引用数 7

ひとこと要約

この論文は、再生核ヒルベルト空間（RKHS）における非パラメトリック最小二乗回帰のための新しいアルゴリズム、Kernel Truncated Randomized Ridge Regression を導入する。この手法は最適な一般化誤差バウンドを達成し、ベイズリスクが低い場合に、有限時間および漸近的収束速度が速くなることを示し、理論的上界と下界の間の長年のギャップを埋めることに成功している。

ABSTRACT

In this paper we consider the nonparametric least square regression in a Reproducing Kernel Hilbert Space (RKHS). We propose a new randomized algorithm that has optimal generalization error bounds with respect to the square loss, closing a long-standing gap between upper and lower bounds. Moreover, we show that our algorithm has faster finite-time and asymptotic rates on problems where the Bayes risk with respect to the square loss is small. We state our results using standard tools from the theory of least square regression in RKHSs, namely, the decay of the eigenvalues of the associated integral operator and the complexity of the optimal predictor measured through the integral operator.

研究の動機と目的

• 非パラメトリックリッジ回帰における一般化誤差の既存の上界と下界の間のギャップを埋めること。
• 有限標本および漸近的状態の両方で最適な収束速度を達成する確率的アルゴリズムを開発すること。
• ベイズリスクの低さがカーネルリッジ回帰手法の収束速度に与える影響を分析すること。
• カーネルに関連する積分作用素の固有値の減衰と複雑さを用いて、アルゴリズムの性能を特徴付けること。

提案手法

• 計算コストを低減しながら統計的最適性を保持するため、カーネルの固有値分解を切り捨てることに基づく確率的アルゴリズムを提案する。
• カーネル行列を効率的に近似するための確率的スケッチ技術を適用し、高次元のRKHSにおけるスケーラブルな計算を可能にする。
• 有限標本における分散を制御し一般化性能を向上させるために、正則化付きの切り捨てを実装する。
• 特に積分作用素の固有値の減衰率に注目した、RKHS理論のツールを用いてアルゴリズムを分析する。
• 固有値の減衰とRKHS内での目的関数の滑らかさに依存する一般化誤差バウンドを導出する。
• 標準的な固有値減衰と関数の複雑さの仮定の下で、アルゴリズムがミニマックス最適な収束速度を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 確率的アルゴリズムは、有限標本保証が得られるRKHS回帰において、ミニマックス最適な一般化誤差バウンドを達成できるか？
• RQ2 ベイズリスクはカーネルリッジ回帰アルゴリズムの収束速度にどのように影響するか？
• RQ3 切り捨てと確率的処理を組み合わせることで、標準的なカーネルリッジ回帰と比較して低ノイズ状態でより速い収束が達成できるか？
• RQ4 固有値の減衰と関数の複雑さは、提案手法の最適収束速度に果たす役割は何か？
• RQ5 実用的で確率的なアルゴリズムを用いて、一般化誤差の上界と下界のギャップを埋められるか？

主な発見

• 標準的な固有値減衰と関数の複雑さの仮定の下で、提案手法はミニマックス最適な一般化誤差バウンドを達成する。
• ベイズリスクが小さい場合、有限時間および漸近的収束速度が速くなることが示され、低ノイズ加速を示している。
• 理論的分析により、非パラメトリックリッジ回帰における長年の上界と下界のギャップが本手法によって埋められたことが確認された。
• 収束速度は、積分作用素の固有値の減衰と最適予測子の滑らかさに依存する。
• 確率的スケッチと切り捨ての組み合わせにより、計算効率と統計的最適性の両方が達成される。
• 本手法の性能は、RKHS内での固有値の減衰と目的関数の複雑さの相乗作用によって正確に特徴づけられる。