[논문 리뷰] Fast cross-validation for incremental learning

Pooria Joulani, András György외 1명|arXiv (Cornell University)|2015. 07. 25.

Machine Learning and Algorithms참고 문헌 23인용 수 5

한 줄 요약

이 논문은 학습 알고리즘의 점진적 성격을 활용하여 점진적 학습에서 빠른 교차 검증을 위한 일반적이고 효율적인 방법을 제안한다. 이로 인해 교차 검증의 수를 고려할 때 계산 비용을 선형에서 로그 스케일링으로 감소시킨다. 이 방법은 다양한 지도 학습 및 비지도 학습 작업에서 확장 가능하고 병렬 처리가 가능한 성능 추정을 가능하게 한다.

ABSTRACT

Cross-validation (CV) is one of the main tools for performance estimation and parameter tuning in machine learning. The general recipe for computing CV estimate is to run a learning algorithm separately for each CV fold, a computationally expensive process. In this paper, we propose a new approach to reduce the computational burden of CV-based performance estimation. As opposed to all previous attempts, which are specific to a particular learning model or problem domain, we propose a general method applicable to a large class of incremental learning algorithms, which are uniquely fitted to big data problems. In particular, our method applies to a wide range of supervised and unsupervised learning tasks with different performance criteria, as long as the base learning algorithm is incremental. We show that the running time of the algorithm scales logarithmically, rather than linearly, in the number of CV folds. Furthermore, the algorithm has favorable properties for parallel and distributed implementation. Experiments with state-of-the-art incremental learning algorithms confirm the practicality of the proposed method.

연구 동기 및 목표

• 머신 러닝에서 기존 교차 검증의 높은 계산 비용, 특히 대규모 데이터에 대해 해결한다.
• 특정 모델이나 도메인에 국한되지 않고 광범위한 점진적 학습 알고리즘에 적용 가능한 방법을 개발한다.
• 빅데이터 응용 분야에서 효율적인 성능 추정 및 하이퍼파rameter 튜닝을 가능하게 한다.
• 교차 검증 폴드 수에 대해 로그 시간 복잡도를 달성하여 런타임을 크게 감소시킨다.
• 실제 시스템에서의 확장성을 향상시키기 위해 병렬 및 분산 구현을 지원한다.

제안 방법

• 각 폴드에 대해 다시 시작부터 학습을 수행하지 않도록 점진적 학습 알고리즘의 점진적 성격을 활용한다.
• 이전에 계산된 모델을 폴드 간에 재사용하여 분할 정복 전략을 통해 교차 검증 추정치를 계산한다.
• 훈련 세트의 재귀적 분해를 적용하여 폴드별 추정치의 로그 시간 계산을 가능하게 한다.
• 지도 학습 및 비지도 학습을 위한 다양한 성능 기준과도 호환되도록 방법을 설계한다.
• 폴드 계산을 분리함으로써 병렬 및 분산 컴퓨팅 프레임워크와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 정확도를 희생시키지 않고 점진적 학습 알고리즘에 대해 교차 검증을 크게 가속화할 수 있는가?
• RQ2 다양한 학습 작업과 성능 지표에 적용 가능한 일반 목적의 방법을 설계할 수 있는가?
• RQ3 교차 검증의 계산 복잡도를 폴드 수에 대해 선형에서 로그로 감소시킬 수 있는가?
• RQ4 제안된 방법이 대규모 환경에서 효율적인 병렬 및 분산 실행을 지원하는가?
• RQ5 현행 최고 수준의 점진적 학습 알고리즘에서 표준 교차 검증과 비교해 실질적으로 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 교차 검증의 계산 비용을 폴드 수에 대해 선형에서 로그 스케일링으로 감소시킨다.
• 이 방법은 다양한 성능 기준을 가진 지도 학습 및 비지도 학습 작업에 일반적으로 적용 가능하다.
• 모듈식이고 재사용 가능한 구조 덕분에 효율적인 병렬 및 분산 구현을 지원한다.
• 최신 점진적 학습 알고리즘을 대상으로 한 실험을 통해 방법의 실용성과 확장성을 확인할 수 있었다.
• 정확도를 유지하면서도 런타임을 크게 감소시켜 교차 검증을 빅데이터 응용 분야에서 실현 가능하게 한다.