[論文レビュー] Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression

Giacomo Meanti, Luigi Carratino+2 more|arXiv (Cornell University)|Jan 17, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、Nyström近似を用いた大規模なカーネルリッジ回帰におけるハイパーパrameterチューニングのための、効率的でデータ依存の複雑さ正則化基準を提案する。データの確率的変動に起因する分散を考慮するデータ駆動型ペナルティを活用することで、正則化、カーネル、Nyström中心パラメータの安定的かつ自動的なチューニングが可能となり、広範な実験において既存の手法を上回ることを示した。本手法はスケーラブルなカーネル手法向けに設計されたFalkonライブラリに統合された。

ABSTRACT

Kernel methods provide a principled approach to nonparametric learning. While their basic implementations scale poorly to large problems, recent advances showed that approximate solvers can efficiently handle massive datasets. A shortcoming of these solutions is that hyperparameter tuning is not taken care of, and left for the user to perform. Hyperparameters are crucial in practice and the lack of automated tuning greatly hinders efficiency and usability. In this paper, we work to fill in this gap focusing on kernel ridge regression based on the Nyström approximation. After reviewing and contrasting a number of hyperparameter tuning strategies, we propose a complexity regularization criterion based on a data dependent penalty, and discuss its efficient optimization. Then, we proceed to a careful and extensive empirical evaluation highlighting strengths and weaknesses of the different tuning strategies. Our analysis shows the benefit of the proposed approach, that we hence incorporate in a library for large scale kernel methods to derive adaptively tuned solutions.

研究の動機と目的

• 大規模なカーネル手法、特にNyström近似を用いたカーネルリッジ回帰における自動ハイパーパrameterチューニングの欠如に取り組む。
• 計算コストが高すぎる、あるいはハイパーパrameterが限られたものに限定される既存のチューニング戦略の限界を克服する。
• 大規模な設定において、正則化、カーネル、Nyström中心ハイパーパrameterをチューニングする理論的裏付けがあり、効率的な基準を開発する。
• FALKONライブラリに統合された実用的な実装を提供し、スケーラブルなカーネル手法における適応的チューニングを可能にする。
• 複数のチューニング戦略を包括的に比較する実証的評価を実施し、提案手法の安定性と性能を検証する。

提案手法

• データの確率的変動に起因する分散の原因を分離するデータ依存の境界に基づく、新しい複雑さ正則化基準を提案する。
• この基準の最適化としてハイパーパrameterチューニング問題を定式化し、標準的手法と比較して安定性が向上することを示す。
• ランダム化線形代数技術を用いたトレース推定により、データ依存ペナルティを効率的に計算するアルゴリズムを設計する。
• 提案基準をFALKONフレームワークに統合し、大規模なカーネル手法におけるスケーラブルで微分可能なハイパーパrameter最適化を可能にする。
• 効率的なソルバとGPUアクセcelerationを活用し、数十億のデータポイントを処理しながらも、チューニングの計算コストを低く維持する。
• 生産環境向けライブラリ（Falkon）に実装し、正則化、カーネル、Nyström中心パラメータの共同チューニングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 大規模なカーネルリッジ回帰にNyström近似を適用した場合、ハイパーパrameterチューニングをどのようにして効率的かつ安定的に実現できるか？
• RQ2 複雑さ正則化におけるデータ依存ペナルティの使用が、ハイパーパramータ選択の安定性と一般化性能に与える影響は何か？
• RQ3 交差検証、一般化交差検証、トレースベース推定器といった既存手法と比較して、提案基準の性能と計算コストの面での実証的差異は何か？
• RQ4 本手法は、例えば数十億ポイントの巨大データセットに対しても、正確性と効率性を維持したままスケーラブルに拡張可能か？
• RQ5 大規模なカーネル手法に適用された場合、さまざまなハイパーパrameterチューニング戦略の相対的な長所と短所は何か？

主な発見

• 提案されたデータ依存の複雑さ正則化基準は、一般化交差検証やトレースベース推定器といった標準的手法と比較して、顕著に高いハイパーパramータチューニングの安定性を達成する。
• 本手法は、最大10億ポイントに達するような大規模データセットにおいても、競争力のある一般化性能を発揮し、計算オーバーヘッドを低く抑える。
• 実証的評価では、提案手法がテスト誤差と多様なデータ分布におけるロバストネスの面でベースラインのチューニング戦略を上回ることを示した。
• FALKONライブラリへの統合により、正則化、カーネル、Nyström中心パラメータの複数ハイパーパラメータを一度のスケーラブルなパイプラインでエンドツーエンドで適応的にチューニング可能となった。
• トレース推定技術により、データ依存ペナルティの計算が効率的に行えるようになり、本手法は実世界の大規模応用に実用的であることが確認された。
• データのサンプリングやノイズ条件の変化に対して、本手法は優れた安定性を示し、ペナルティ内での分散要因の分離が理論的利点をもたらすことを裏付けた。