[論文レビュー] Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction

Hongyuan Zhan, Gabriel dos Passos Gomes+3 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Bandit Algorithms Research参考文献 16被引用数 5

ひとこと要約

本論文は、ストリーミング交通時間系列予測における効率的で適応的なハイパーパramータチューニングを可能にする、カーネルリッジ回帰のためのオンラインハイパーパramータ学習（OHL）アルゴリズムを提案する。ストリーミングデータからの適応的ハイパーパラメータ勾配更新を活用することで、OHLは、HOAGなどのオフライン手法と比較して計算時間を最大7倍短縮しながら、予測精度を維持または向上させる。

ABSTRACT

Computational efficiency is an important consideration for deploying machine learning models for time series prediction in an online setting. Machine learning algorithms adjust model parameters automatically based on the data, but often require users to set additional parameters, known as hyperparameters. Hyperparameters can significantly impact prediction accuracy. Traffic measurements, typically collected online by sensors, are serially correlated. Moreover, the data distribution may change gradually. A typical adaptation strategy is periodically re-tuning the model hyperparameters, at the cost of computational burden. In this work, we present an efficient and principled online hyperparameter optimization algorithm for Kernel Ridge regression applied to traffic prediction problems. In tests with real traffic measurement data, our approach requires as little as one-seventh of the computation time of other tuning methods, while achieving better or similar prediction accuracy.

研究の動機と目的

• オンライン交通フローモデルにおける定期的ハイパーパラメータ再チューニングの高コストを解消すること。
• ストリーミングデータに不適切な既存のオフラインハイパーパラメータ最適化手法の限界を克服すること。
• 変化するデータ分布に動的に適応するオンラインで計算効率の良いアルゴリズムを開発すること。
• 最小限の計算コストでリアルタイム交通予測において高い予測精度を達成すること。
• 頻繁なデータ更新が行われる交通管理システムへの実用的導入を可能にすること。

提案手法

• ストリーミングデータからの適応的ハイパーパラメータ勾配推定を用いて、ハイパーパラメータに1回の投影勾配更新を実行するオンラインハイパーパラメータ学習（OHL）アルゴリズムを提案する。
• 完全な再トレーニングを伴わずに、ストリーミング検証セットを用いてハイパーパラメータ勾配情報を抽出することで、グリッド探索や反復最適化と比較して計算コストを低減する。
• 各モデル再トレーニングの前にOHL更新を適用し、リアルタイムで変化するデータパターンに動的に適応可能にする。
• カーネルリッジ回帰の構造を活用して、閉形式解を用いてハイパーパラメータ勾配を効率的に計算する。
• ハイパーパラメータをnステップごとに更新し、モデルをmステップごとに再トレーニングするローリング予測プロトコルにOHLを統合する。
• ハイパーパラメータと予測誤差の間の非凸関係に対応できるように、ハイパーパラメータ勾配計算を拡張し、非定常環境でも安定した性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 交通時間系列予測におけるリアルタイム導入に十分な計算効率を持つオンラインハイパーパラメータ最適化は可能か？
• RQ2 OHLのようなオンラインハイパーパラメータ学習手法は、HOAG やグリッドサーチなどのオフライン手法と比較して、精度と速度の面でどのように異なるか？
• RQ3 ストリーミングデータからの適応的ハイパーパラメータ勾配更新は、静的または定期的にチューニングされたハイパーパラメータを上回る性能を示せるか、特に非定常な交通データにおいて？
• RQ4 オンラインとオフラインのハイパーパラメータチューニングの間で、計算効率と予測精度のトレードオフはどのようなものか？
• RQ5 オンラインハイパーパラメータ適応は、固定検証セットに基づくオフライン最適化と比較して、将来のデータに対する一般化性能を向上させるか？

主な発見

• OHLは13台の交通検知器全体で平均20分の計算時間にまで短縮され、HOAG（138分）と比較して6.9倍の高速化を達成した。
• OHLはHOAG や RDS と同等またはより優れた予測精度を達成し、固定ハイパーパラメータと比較してRMSEで最大16％の改善を示した。
• 複数の検知器において、OHLは時間経過とともにHOAGを上回った。これは、オンライン適応が過去の検証データへの過学習を軽減することを示している。
• OHLの予測精度は、静的ハイパーパラメータチューニングと同等またはそれ以上であり、複数の検知器で平均10〜15％のRMSE改善を達成した。
• OHLは、変化する交通パターンへの適応をタイムリーに行える低計算コストを維持しており、リアルタイム導入に適している。
• OHLは最適な局所的後悔を達成しており、非定常環境下でも強固な理論的性能保証を持つことが示された。