[논문 리뷰] Tuneful: An Online Significance-Aware Configuration Tuner for Big Data Analytics

Ayat Fekry, Lucian Carata외 3명|arXiv (Cornell University)|2020. 01. 22.

Cloud Computing and Resource Management인용 수 11

한 줄 요약

Tuneful은 런타임 오버헤드를 최소화하면서도 증분 민감도 분석과 베이지안 최적화를 결합한 온라인, 의미 인식 기반의 구성 튜너로, 대규모 데이터 시스템을 위한 near-optimal Spark 설정을 찾는 데 사용된다. 기존 최상위 기술 대비 중앙값 검색 시간을 62% 감소시켜 동적 워크로드에 대한 빠르고 비용 효율적인 튜닝을 가능하게 한다.

ABSTRACT

Distributed analytics engines such as Spark are a common choice for processing extremely large datasets. However, finding good configurations for these systems remains challenging, with each workload potentially requiring a different setup to run optimally. Using suboptimal configurations incurs significant extra runtime costs. %Furthermore, Spark and similar platforms are gaining traction within data-scientists communities where awareness of such issues is relatively low. We propose Tuneful, an approach that efficiently tunes the configuration of in-memory cluster computing systems. Tuneful combines incremental Sensitivity Analysis and Bayesian optimization to identify near-optimal configurations from a high-dimensional search space, using a small number of executions. This setup allows the tuning to be done online, without any previous training. Our experimental results show that Tuneful reduces the search time for finding close-to-optimal configurations by 62\\% (at the median) when compared to existing state-of-the-art techniques. This means that the amortization of the tuning cost happens significantly faster, enabling practical tuning for new classes of workloads.

연구 동기 및 목표

• 고차원적인 Spark 설정 공간에서 워크로드별 최적 설정을 찾는 데 도전 과제를 해결한다.
• Spark와 같은 분산 메모리 시스템에서 설정 튜닝에 소요되는 비용과 시간을 줄인다.
• 사전 학습된 모델이나 광범위한 오프라인 학습에 의존하지 않고도 실시간으로 재튜닝이 가능한 실용적인 온라인 튜닝을 가능하게 한다.
• 기존의 증분 검색 또는 모델 기반 접근 방식보다 near-optimal 설정으로의 수렴 속도를 빠르게 한다.
• 높은 성능을 보이는 설정을 식별하기 위해 필요한 비용이 많이 드는 워크로드 실행 횟수를 최소화한다.

제안 방법

• 소수의 실행을 통해 고차원 설정 공간에서 영향력이 가장 큰 설정 파라미터를 동적으로 식별하기 위해 증분 민감도 분석을 적용한다.
• 가우스 프로세스를 사용한 베이지안 최적화를 통해 영향력 있는 파라미터들만 효율적으로 탐색하고 최적화한다.
• 모델 없는 온라인 튜닝을 보장하기 위해 실제 워크로드 실행을 통해 설정 선택을 이끌어내는 방식을 사용한다.
• 런타임 비용을 최소화하기 위해 탐색과 이용의 균형을 이루는 확률적 취득 함수를 유지한다.
• 주기적인 워크로드 실행 동안 실시간으로 설정을 모니터링하고 튜닝할 수 있도록 Spark에 원활하게 통합한다.
• 각 실행 후의 워크로드 피드백을 활용해 검색 공간을 정교화하고 점진적으로 튜닝 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 소수의 실행으로 고차원적이고 동적인 Spark 설정 공간에서 가장 영향력 있는 설정 파라미터를 민감도 분석을 효과적으로 식별할 수 있는가?
• RQ2 증분 민감도 분석과 베이지안 최적화를 조합함으로써 기존 튜닝 기법 대비 수렴 속도가 어떻게 향상되는가?
• RQ3 온라인, 모델 없는 설정 튜닝은 대규모 데이터 시스템에서 최적화의 분할 비용을 얼마나 줄일 수 있는가?
• RQ4 Tuneful은 훨씬 적은 실행 샘플 수로도 최상위 기술 대비 유사하거나 더 낫지 않은 설정을 달성할 수 있는가?
• RQ5 데이터 볼륨 변화나 환경 변화로 인해 변화하는 워크로드에 대해 Tuneful은 얼마나 효과적으로 빈번한 재튜닝을 가능하게 하는가?

주요 결과

• Tuneful은 최상위 기술 대비 near-optimal 설정을 찾는 데 소요되는 중앙값 검색 시간을 62% 감소시킨다.
• 최적의 경우, Tuneful은 기존 방법 대비 검색 시간을 97% 감소시켜 최적화 비용의 분할을 크게 가속화한다.
• Tuneful은 훨씬 적은 실행 횟수로도 최상위 기술이 도출한 것과 유사한 런타임 성능을 보이는 설정을 달성한다.
• 소수의 초기 실행만으로도 워크로드에 특화된 영향력 있는 파라미터를 고도로 정확하게 식별해 효율적인 검색 공간 축소를 가능하게 한다.
• Tuneful은 변화하는 데이터 볼륨이나 환경에 따라 설정을 재최적화할 수 있도록 실용적인 온라인 재튜닝을 가능하게 하여, 워크로드 변화에 대한 유연한 대응을 보장한다.
• 민감도 분석과 베이지안 최적화의 통합은 고차원 설정 공간에서 자료 효율적인 튜닝을 가능하게 하며, 이는 이전의 모델 기반 또는 전수 탐색 방법에 비해 핵심적인 발전이다.