[논문 리뷰] Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression

Giacomo Meanti, Luigi Carratino외 2명|arXiv (Cornell University)|2022. 01. 17.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 대규모 커널 리지 회귀에서 뉴스트öm 근사법을 사용할 때, 뉴스트öm 중심 파라미터, 정규화, 커널 파라미터를 자동으로 안정적으로 튜닝할 수 있도록 데이터에 의존하는 복잡도 정규화 기준을 제안한다. 데이터의 확률적 변동에서 기인하는 분산을 고려한 데이터 기반 페널티를 활용함으로써, 기존 전략보다 광범위한 실험에서 우수한 성능을 보이며, 확장 가능한 커널 방법을 위한 Falkon 라이브러리에 통합되었다.

ABSTRACT

Kernel methods provide a principled approach to nonparametric learning. While their basic implementations scale poorly to large problems, recent advances showed that approximate solvers can efficiently handle massive datasets. A shortcoming of these solutions is that hyperparameter tuning is not taken care of, and left for the user to perform. Hyperparameters are crucial in practice and the lack of automated tuning greatly hinders efficiency and usability. In this paper, we work to fill in this gap focusing on kernel ridge regression based on the Nyström approximation. After reviewing and contrasting a number of hyperparameter tuning strategies, we propose a complexity regularization criterion based on a data dependent penalty, and discuss its efficient optimization. Then, we proceed to a careful and extensive empirical evaluation highlighting strengths and weaknesses of the different tuning strategies. Our analysis shows the benefit of the proposed approach, that we hence incorporate in a library for large scale kernel methods to derive adaptively tuned solutions.

연구 동기 및 목표

• 대규모 커널 방법, 특히 뉴스트öm 근사를 사용한 커널 리지 회귀에서 자동 하이퍼파rameter 튜닝의 부족을 해결한다.
• 계산 비용이 과도하거나 몇 개의 하이퍼파rameter에만 국한되는 기존 튜닝 전략의 한계를 극복한다.
• 대규모 환경에서 정규화, 커널, 뉴스트öm 중심 하이퍼파rameter를 튜닝하기 위한 이론적으로 타당하고 효율적인 기준을 개발한다.
• 확장 가능한 커널 방법을 위한 FALKON 라이브러리에 적응적 튜닝을 통합한 실용적인 구현을 제공한다.
• 다양한 튜닝 전략을 비교하여 제안된 방법의 안정성과 성능을 검증하기 위한 종합적인 실험 평가를 수행한다.

제안 방법

• 데이터에 의존하는 경계를 기반으로 한 새로운 복잡도 정규화 기준을 제안하여, 데이터의 확률적 변동에서 기인하는 분산의 원인을 분리한다.
• 이 기준의 최적화 문제로 하이퍼파rameter 튜닝 문제를 공식화하였으며, 이는 표준 방법보다 안정성이 향상됨을 입증하였다.
• 랜덤화된 선형 대수 기법을 활용한 추정을 통해 데이터에 의존하는 페널티를 효율적으로 계산하는 알고리즘을 설계하였다.
• 제안된 기준을 FALKON 프레임워크에 통합하여, 대규모 커널 방법에 대한 확장 가능하고 미분 가능한 하이퍼파rameter 최적화를 가능하게 하였다.
• 효율적인 솔버와 GPU 가속을 활용하여 수십억 개의 데이터 포인트를 처리하면서도 튜닝에 대한 계산 비용을 낮게 유지하였다.
• 정규화, 커널, 뉴스트öm 중심 파라미터를 동시에 튜닝할 수 있는 프로덕션 수준의 라이브러리(Falkon)에 방법을 구현하였다.

실험 결과

연구 질문

• RQ1 대규모 커널 리지 회귀에서 뉴스트öm 근사를 사용할 때, 하이퍼파rameter 튜닝을 어떻게 효율적이고 안정적으로 만들 수 있는가?
• RQ2 복잡도 정규화에 데이터에 의존하는 페널티를 사용할 경우, 하이퍼파ram터 선택의 안정성과 일반화 성능에 어떤 영향을 미치는가?
• RQ3 성능과 계산 비용 측면에서, 제안된 기준은 교차검증, 일반화 교차검증, 추적 기반 추정기와 같은 기존 방법과 비교하여 어떻게 성과를 내는가?
• RQ4 제안된 방법은 수십억 개의 데이터 포인트를 포함한 거대한 데이터셋에서도 정확성과 효율성을 유지하면서 확장 가능한가?
• RQ5 대규모 커널 방법에 적용했을 때, 다양한 하이퍼파rameter 튜닝 전략의 상대적 강점과 약점은 무엇인가?

주요 결과

• 제안된 데이터에 의존하는 복잡도 정규화 기준은 일반화 교차검증이나 추적 기반 추정기와 같은 표준 방법보다 훨씬 더 안정적인 하이퍼파ram터 튜닝을 이끌어낸다.
• 이 방법은 수십억 개의 데이터 포인트를 포함한 대규모 데이터셋에서도 경쟁력 있는 일반화 성능을 달성하면서도 낮은 계산 오버헤드를 유지한다.
• 실증 평가 결과, 다양한 데이터 분포에서 테스트 오차와 강건성 측면에서 제안된 방법이 베이스라인 튜닝 전략을 능가함을 확인하였다.
• Falkon 라이브러리에 통합된 이 방법은 정규화, 커널, 뉴스트öm 중심 파라미터를 동시에 튜닝할 수 있는 종단 간(end-to-end), 적응적 튜닝 파이프라인을 제공한다.
• 추적 추정 기법을 통해 데이터에 의존하는 페널티를 효율적으로 계산할 수 있어, 실세계의 대규모 응용에 실용적인 방법이 되었다.
• 다양한 데이터 샘플링 및 노이즈 조건 하에서도 뛰어난 안정성을 보이며, 페널티에서 분산 원인을 분리한 이론적 이점이 확인되었다.