[논문 리뷰] Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction

Hongyuan Zhan, Gabriel dos Passos Gomes외 3명|arXiv (Cornell University)|2018. 11. 01.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 스트리밍 트래픽 시계열 예측에서 효율적이고 적응적인 하이퍼파rameter 튜닝을 가능하게 하는 커널 리지 회귀를 위한 온라인 하이퍼파rameter 학습(OHL) 알고리즘을 제안한다. 스트리밍 데이터로부터 적응적인 하이퍼그래디언트 업데이트를 활용함으로써, OHL은 오프라인 방법인 HOAG에 비해 계산 시간을 최대 7배까지 단축시키면서도 예측 정확도를 유지하거나 향상시킨다.

ABSTRACT

Computational efficiency is an important consideration for deploying machine learning models for time series prediction in an online setting. Machine learning algorithms adjust model parameters automatically based on the data, but often require users to set additional parameters, known as hyperparameters. Hyperparameters can significantly impact prediction accuracy. Traffic measurements, typically collected online by sensors, are serially correlated. Moreover, the data distribution may change gradually. A typical adaptation strategy is periodically re-tuning the model hyperparameters, at the cost of computational burden. In this work, we present an efficient and principled online hyperparameter optimization algorithm for Kernel Ridge regression applied to traffic prediction problems. In tests with real traffic measurement data, our approach requires as little as one-seventh of the computation time of other tuning methods, while achieving better or similar prediction accuracy.

연구 동기 및 목표

• 온라인 트래픽 흐름 예측 시스템에서 주기적인 하이퍼파arameter 재조정으로 인한 높은 계산 비용을 해결하기 위해.
• 스트리밍 데이터에 적합하지 않은 기존의 오프라인 하이퍼파arameter 최적화 방법의 한계를 극복하기 위해.
• 변화하는 데이터 분포에 동적으로 하이퍼파arameter를 적응시키는 온라인이고 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 최소한의 계산 오버헤드로 실시간 트래픽 예측에서 높은 정확도를 달성하기 위해.
• 자주 업데이트되는 데이터를 처리하는 운영 기반 트래픽 관리 시스템에 머신러닝 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 스트리밍 데이터로부터 적응적인 하이퍼그래디언트 추정을 사용하여 하이퍼파arameter에 대해 단일 투영-그래디언트 업데이트를 수행하는 온라인 하이퍼파aram터 학습(OHL) 알고리즘을 제안한다.
• 완전한 재학습 없이 스트리밍 검증 세트를 사용하여 하이퍼그래디언트 정보를 추출함으로써, 전체 그리드나 반복 최적화에 비해 계산 비용을 감소시킨다.
• 모델 재학습 이전에 OHL 업데이트를 적용함으로써 실시간으로 변화하는 데이터 패턴에 동적으로 적응할 수 있도록 한다.
• 커널 리지 회귀의 구조를 활용하여 닫힌 형식의 해를 사용해 하이퍼그래디언트를 효율적으로 계산한다.
• 하이퍼파arameter는 매 n단위 시간 간격마다 업데이트되고, 모델은 매 m단위 시간 간격마다 재학습되는 윤활 예측 프로토콜에 OHL을 통합한다.
• 비볼록한 관계(하이퍼파arameter와 예측 오차 간의 비볼록성)를 처리할 수 있도록 하이퍼그래디언트 계산을 개선하여 비정상적인 환경에서도 강건한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 실시간 트래픽 시계열 예측에 적합한 온라인 하이퍼파aram터 최적화는 계산 비용을 충분히 낮출 수 있는가?
• RQ2 정확도와 속도 측면에서 OHL과 같은 오프라인 방법(HOAG 또는 그리드 서치)과 비교해 성능는 어떻게 되는가?
• RQ3 스트리밍 데이터에서의 적응적인 하이퍼그래디언트 업데이트는 정적 또는 주기적으로 튜닝된 하이퍼파arameter보다 우월한가?
• RQ4 온라인 대비 오프라인 하이퍼파aram터 튜닝을 사용할 경우 계산 효율성과 예측 정확도 사이의 상충 관계는 어떠한가?
• RQ5 온라인 하이퍼파aram터 적응은 고정된 검증 세트를 기반으로 한 오프라인 최적화보다 미래 데이터에 대해 더 우수한 일반화 성능을 보이는가?

주요 결과

• OHL은 13개의 트래픽 감시 센서에서 평균 계산 시간을 20분으로 줄여 HOAG(138분) 대비 6.9배의 속도 향상을 달성했다.
• OHL은 HOAG 및 RDS와 유사하거나 더 높은 예측 정확도를 달성하였으며, 고정된 하이퍼파aram터에 비해 RMSE에서 최대 16%의 향상을 보였다.
• 일부 감시 센서에서 OHL은 시간이 지남에 따라 HOAG를 능가했으며, 이는 온라인 적응이 과거 검증 데이터에 대한 과적합을 완화시킨다는 것을 시사한다.
• OHL의 예측 정확도는 일관되게 또는 정적 하이퍼파aram터 튜닝과 유사한 성능을 보였으며, 여러 감시 센서에서 평균 RMSE 개선률이 10~15%에 달했다.
• OHL은 변화하는 트래픽 패턴에 적절히 대응할 수 있도록 시기적절한 적응을 가능하게 하면서도 낮은 계산 비용을 유지하여 실시간 구현에 적합하다.
• OHL 방법은 최적의 국소적 손실을 달성하여 비정상적인 환경에서 강력한 이론적 성능 보장을 나타낸다.