[논문 리뷰] Learning-based Automatic Parameter Tuning for Big Data Analytics Frameworks

Liang Bao, Xin Liu외 1명|arXiv (Cornell University)|2018. 08. 17.

Cloud Computing and Resource Management인용 수 9

한 줄 요약

이 논문은 시간 제약 조건 내에서 예측 모델 정확도를 향상시키기 위해 더 작은 규모의 테스트베드를 사용하여 더 많은 학습 샘플을 생성하는 러닝 기반의 자동 파라미터 튜닝 시스템인 AutoTune을 제안한다. 고차원 파라미터 공간을 탐색하기 위해 라틴 하이퍼큐브 샘플링과 다중 경계-검색을 결합하여, Spark 워크로드에서 기본 설정 대비 평균 63.70% 향상 및 최신 기술 대비 6%-23% 향상을 달성한다.

ABSTRACT

Big data analytics frameworks (BDAFs) have been widely used for data processing applications. These frameworks provide a large number of configuration parameters to users, which leads to a tuning issue that overwhelms users. To address this issue, many automatic tuning approaches have been proposed. However, it remains a critical challenge to generate enough samples in a high-dimensional parameter space within a time constraint. In this paper, we present AutoTune--an automatic parameter tuning system that aims to optimize application execution time on BDAFs. AutoTune first constructs a smaller-scale testbed from the production system so that it can generate more samples, and thus train a better prediction model, under a given time constraint. Furthermore, the AutoTune algorithm produces a set of samples that can provide a wide coverage over the high-dimensional parameter space, and searches for more promising configurations using the trained prediction model. AutoTune is implemented and evaluated using the Spark framework and HiBench benchmark deployed on a public cloud. Extensive experimental results illustrate that AutoTune improves on default configurations by 63.70% on average, and on the five state-of-the-art tuning algorithms by 6%-23%.

연구 동기 및 목표

• 시간 제약 조건 하에서 고차원 파라미터 공간의 샘플링 제약을 해결하기 위해.
• 생산 시스템의 동작 특성을 반영하는 더 작은 규모의 테스트베드를 활용하여 성능 최적화를 위한 예측 모델 정확도를 향상시키기 위해.
• 파라미터 공간에서 탐색과 이용의 균형을 맞추는 효율적인 검색 알고리즘을 개발하기 위해.
• Spark 워크로드에서 실행 시간 단축 측면에서 기본 설정 및 기존 튜닝 알고리즘을 초월하기 위해.
• 실제 대용량 데이터 애플리케이션을 위한 실용적이고 자동화되며 확장 가능한 파라미터 튜닝을 가능하게 하기 위해.

제안 방법

• 생산 시스템으로부터 더 작은 규모의 테스트베드를 구축하여 성능 변동 특성을 유지하면서도 학습 샘플 생성 속도를 높이기 위해.
• 고차원 파라미터 공간 전역에 걸쳐 다양하고 균일하게 분포된 샘플을 생성하기 위해 라틴 하이퍼큐브 샘플링(Latin hypercube sampling, LHS)을 사용하기 위해.
• 테스트베드에서 학습된 랜덤 포레스트 기반의 성능 예측 모델을 통해 다양한 구성에 대한 애플리케이션 실행 시간을 추정하기 위해.
• 예측 모델이 식별한 유망한 구성 주변의 검색 공간을 반복적으로 개선하기 위해 다중 경계-검색(multiple bound-and-search)을 적용하기 위해.
• 학습, 탐색, 최종 검증 시간을 효율적으로 배분하여 시간 제약 조건 내에서 튜닝 효율을 극대화하기 위해.
• 테스트베드와 생산 시스템 워크플로우를 통합하여 고정된 시간 예산 내에서 최적의 구성 선택 및 검증을 수행하기 위해.

실험 결과

연구 질문

• RQ1 더 작은 규모의 테스트베드는 성능 변동 특성을 유지하면서도 학습 샘플 생성 속도를 높일 수 있는가?
• RQ2 라틴 하이퍼큐브 샘플링과 같은 샘플링 전략은 고차원 파라미터 공간에서 커버리지와 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 학습된 예측 모델과 경계-검색의 조합이 BDAF 설정에서 무작위 또는 히ュ리스틱 기반 튜닝보다 얼마나 뛰어난가?
• RQ4 AutoTune 프레임워크는 기본 설정 및 기존 최신 기술 튜닝 알고리즘 대비 성능 향상에서 어떻게 비교되는가?
• RQ5 시간 제약 조건 하에서 탐색, 이용, 검증 시간 간의 상호 상충 관계는 어떠한가?

주요 결과

• AutoTune는 HiBench 벤치마크의 Spark 워크로드에서 기본 설정 대비 평균 실행 시간을 63.70% 향상시켰다.
• AutoTune는 BestConfig, RFHOC, Hyperopt, SMAC, Random 등 다섯 가지 최신 기술 튜닝 알고리즘 대비 6%에서 23%까지 향상된 성능을 달성했다.
• WordCount, PageRank, GBT를 포함한 일곱 가지 다양한 대용량 애플리케이션에서 안정적이고 뚜렷한 성능 향상을 보였다.
• 무작위 검색은 놀랍도록 잘 작동하지만, AutoTune는 평균적으로 7.35% 높은 성능를 기록하여 학습 및 검색 전략의 효과성을 입증했다.
• 테스트베드의 사용 덕분에 직접 생산 시스템 튜닝 대비 샘플 생성 속도가 100배 이상 빨라졌으며, 이는 시간 제약 내에서 더 나은 모델 학습을 가능하게 했다.
• 다중 경계-검색 메커니즘은 높은 성능을 보이는 구성 주변의 검색 공간을 효과적으로 좁혀내어 수렴성과 효율성을 향상시켰다.