[논문 리뷰] Speculative Approximations for Terascale Analytics

Chengjie Qin, Florin Rusu|arXiv (Cornell University)|2015. 01. 01.

Data Management and Algorithms참고 문헌 54인용 수 4

한 줄 요약

이 논문은 테라스케일 분석에서 모델 캘리브레이션을 가속화하기 위해 사전적 매개변수 테스트와 온라인 집계를 제안한다. 병렬 다중 쿼리 처리를 통해 동시에 여러 스텝 사이즈를 평가하고, 점진적 샘플링을 통한 조기 정지 기법을 활용함으로써, 캘리브레이션 시간을 최대 20배까지 단축시키면서도, 최적화되지 않은 설정을 1/20의 시간 만에 식별할 수 있다.

ABSTRACT

Model calibration is a major challenge faced by the plethora of statistical analytics packages that are increasingly used in Big Data applications. Identifying the optimal model parameters is a time-consuming process that has to be executed from scratch for every dataset/model combination even by experienced data scientists. We argue that the incapacity to evaluate multiple parameter configurations simultaneously and the lack of support to quickly identify sub-optimal configurations are the principal causes. In this paper, we develop two database-inspired techniques for efficient model calibration. Speculative parameter testing applies advanced parallel multi-query processing methods to evaluate several configurations concurrently. The number of configurations is determined adaptively at runtime, while the configurations themselves are extracted from a distribution that is continuously learned following a Bayesian process. Online aggregation is applied to identify sub-optimal configurations early in the processing by incrementally sampling the training dataset and estimating the objective function corresponding to each configuration. We design concurrent online aggregation estimators and define halting conditions to accurately and timely stop the execution. We apply the proposed techniques to distributed gradient descent optimization -- batch and incremental -- for support vector machines and logistic regression models. We implement the resulting solutions in GLADE PF-OLA -- a state-of-the-art Big Data analytics system -- and evaluate their performance over terascale-size synthetic and real datasets. The results confirm that as many as 32 configurations can be evaluated concurrently almost as fast as one, while sub-optimal configurations are detected accurately in as little as a $1/20^{ ext{th}}$ fraction of the time.

연구 동기 및 목표

• 빅데이터 분석에서 모델 캘리브레이션의 높은 계산 비용과 상호작용적 성격을 해결하기 위해.
• 특히 대규모 데이터셋에서 매개변수 설정을 하나씩 평가하는 데서 비효율을 극복하기 위해.
• 비례적인 시간 증가 없이 다수의 하이퍼파ram터 설정을 동시에 평가할 수 있도록 하기 위해.
• 점진적 샘플링과 온라인 집계를 활용해 최적화되지 않은 설정을 조기에 탐지하기 위해.
• 이러한 기법들을 최적화한 배치 경사 하강법(BGD)이 수렴 속도와 실행 시간 측면에서 증분 경사 하강법(IGD)을 항상 능가함을 입증하기 위해.

제안 방법

• 학습 데이터를 한 번의 통과 동안 여러 스텝 사이즈를 동시에 평가하기 위해 고급 병렬 다중 쿼리 처리를 활용한 사전적 매개변수 테스트를 적용한다.
• 유망한 매개변수의 분포에서 학습하고 샘플링하기 위해 런타임에서 구성 수를 베이지안 과정을 통해 동적으로 조정한다.
• 각 설정에 대한 목적 함수를 추정하기 위해 동시 추정기와 온라인 집계를 통합하여 학습 데이터셋을 점진적으로 샘플링한다.
• 베이지안 통계에서 유도된 신뢰 구간을 바탕으로 정지 조건을 정의하여, 최적화되지 않음을 감지할 경우 조기에 처리를 중단한다.
• 사전 실행 동안 모델 업데이트와 손실 계산을 겹쳐 자원 활용도를 높이고 유휴 시간을 최소화한다.
• SVM 및 로지스틱 회귀를 위한 배치 및 증분 경사 하강법을 모두 지원하기 위해, 이 기법들을 Big Data 분석 시스템인 GLADE PF-OLA에 구현한다.

실험 결과

연구 질문

• RQ1 선형 시간 증가 없이 단일 데이터 통과 동안 다수의 하이퍼파ram터 설정을 동시에 평가할 수 있는가?
• RQ2 점진적 샘플링과 온라인 집계 추정기로 최적화되지 않은 설정을 조기에 탐지할 수 있는가?
• RQ3 사전적 및 근사 기법을 최적화한 배치 경사 하강법(BGD)이 수렴 속도와 실행 시간 측면에서 증분 경사 하강법(IGD)을 능가하는가?
• RQ4 신뢰 구간을 활용한 온라인 집계는 모델 캘리브레이션에 소요되는 시간을 얼마나 줄일 수 있는가?
• RQ5 사전 실행과 온라인 집계의 통합은 테라스케일 데이터셋에서 총 캘리브레이션 시간을 얼마나 줄이는가?

주요 결과

• 최대 32개의 매개변수 설정을 동시에 평가할 수 있으며, 거의 선형적인 성능 향상을 달성하여 단일 설정과 비교해 유사한 성능을 보인다.
• 기존 방법에 비해 최대 1/20의 시간 만에 최적화되지 않은 설정을 높은 정확도로 탐지할 수 있다.
• 사전적 및 온라인 집계 기법을 적용한 배치 경사 하강법(BGD)은 수렴 속도와 실행 시간 모두에서 증분 경사 하강법(IGD)을 일관되게 능가한다.
• 사전 실행과 온라인 집계의 통합은 비생산적인 설정에 대해 조기에 정지를 허용함으로써 총 캘리브레이션 시간을 감소시킨다.
• 제안된 기법들은 MLlib, MADlib, Vowpal Wabbit와 같은 기존 빅데이터 플랫폼에 다수의 스레드 및 부분 집계 기능을 지원한다면 일반화 가능하며 통합이 가능하다.
• 온라인 집계 추정기의 베이지안 기반 신뢰 구간은 정확하고 적시에 정지 결정을 내려 false positive를 최소화한다.