[논문 리뷰] Spark Parameter Tuning via Trial-and-Error

Panagiotis Petridis, Anastasios Gounaris외 1명|arXiv (Cornell University)|2016. 07. 25.

Cloud Computing and Resource Management참고 문헌 7인용 수 7

한 줄 요약

이 논문은 페타스케일 슈퍼컴퓨터에서 실시간으로 작동하는 실제 애플리케이션에서 12개의 핵심 Spark 파라미터를 최적화하기 위한 경량이며 시도와 오류를 반복하는 방법론을 제안한다. 이 방법론은 응용 프로그램을 블랙박스로 간주하고 파라미터 간 상관관계를 활용함으로써, 실험 횟수를 최소화하면서도 성능을 크게 향상시킨다. 세 가지 실제 사례 연구에서 최대 10배의 성능 향상을 달성하였다.

ABSTRACT

Spark has been established as an attractive platform for big data analysis, since it manages to hide most of the complexities related to parallelism, fault tolerance and cluster setting from developers. However, this comes at the expense of having over 150 configurable parameters, the impact of which cannot be exhaustively examined due to the exponential amount of their combinations. The default values allow developers to quickly deploy their applications but leave the question as to whether performance can be improved open. In this work, we investigate the impact of the most important of the tunable Spark parameters on the application performance and guide developers on how to proceed to changes to the default values. We conduct a series of experiments with known benchmarks on the MareNostrum petascale supercomputer to test the performance sensitivity. More importantly, we offer a trial-and-error methodology for tuning parameters in arbitrary applications based on evidence from a very small number of experimental runs. We test our methodology in three case studies, where we manage to achieve speedups of more than 10 times.

연구 동기 및 목표

• 150개 이상의 설정 가능한 파라미터를 가진 Spark 응용 프로그램을 최적화하는 데 있어, 전수 검색이 불가능한 과제를 해결한다.
• 실제 워크로드에서 Spark 성능에 가장 큰 영향을 미치는 파라미터를 식별한다.
• 실험 실행 횟수가 10회 이내인 실용적이고 응용 프로그램별 최적화 방법론을 개발한다.
• 사례 연구를 통해 이 방법론의 효과성을 입증한다. 성능 향상이 상당히 이루어짐을 보여준다.
• 파라미터 상관관계와 하드웨어 종속성을 고려한 원칙적이고 저비용의 최적화 접근법을 제공한다.

제안 방법

• 시리얼라이제이션, 셔플 관리, 메모리 비율, 압축 설정 등을 포함한 잠재적 성능 영향이 큰 12개의 핵심 Spark 파라미터를 선정한다.
• 실험적 민감도 분 析를 기반으로 spark.serializer 및 spark.shuffle.manager와 같은 고성능 영향을 미치는 파라미터를 우선순위에 두어 시도와 오류를 반복하는 접근법을 적용한다.
• 상호 파라미터 상관관계를 고려하여 파라미터 조합을 체계적으로 테스트하는 구성 순서를 사용한다.
• 각 Spark 응용 프로그램을 블랙박스로 간주하고 코드 수준의 분석을 피하며, 측정 가능한 성능 변화에 집중한다.
• 실험을 중단하고 구성 설정을 수용할 지를 지시하는 성능 향상 임계값(예: 5–10%)을 설정한다.
• 단일 페타스케일 슈퍼컴퓨터(MareNostrum)의 결과를 활용하여, 다양한 응용 프로그램에 일반화 가능한 최적화 전략을 도출한다.

실험 결과

연구 질문

• RQ1 Spark의 150개 이상 설정 가능한 파라미터 중에서 실제 워크로드에서 응용 프로그램 성능에 가장 큰 영향을 미치는 것은 무엇인가?
• RQ2 저비용의 시도와 오류를 반복하는 방법론이 전수 검색 없이도 고성능 설정을 효과적으로 식별할 수 있는가?
• RQ3 다양한 Spark 응용 프로그램에서 파라미터 상호작용과 상관관계는 최적화 결과에 어떤 영향을 미치는가?
• RQ4 원칙적인 방법으로 소수의 실험 실행만으로 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법론은 다양한 응용 프로그램과 입력 데이터 특성에 일반화되는가?

주요 결과

• KryoSerializer(scala.serializer)는 기본값 대비 44%의 런타임 감소를 이끌어내어 sort-by-key 벤치마크에서 가장 큰 성능 영향을 미쳤다.
• 파일 통합 기능을 사용하는 해시 셔플 관리자(shuffle.consolidateFiles=true)와 최적의 메모리 비율(0.4/0.4)을 적용하여 sort-by-key 성능을 218초에서 120초로 향상시켰다.
• k-means 사례 연구에서 최종 구성 설정(memoryFraction=0.1/0.7 및 shuffle.spill.compress=false)으로 런타임을 654초에서 54초로 줄여 91%의 성능 향상을 달성하였다.
• aggregate-by-key에서 5%의 임계값을 기준으로 해시 셔플과 memoryFraction=0.1/0.7를 사용하여 21%의 성능 향상을 달성하여 새로운 워크로드에 대한 효과성을 입증하였다.
• 성능 향상은 입력 데이터에 매우 민감하게 영향을 받았으며, k-means 사례에서 데이터 특성으로 인해 이전 프로파일링 결과와 크게 다름을 보였다.
• 이 방법론은 실험 실행 횟수가 10회 이내로 제한된 상태에서 실제 응용 프로그램에서 최대 10배의 성능 향상을 달성하여 효율성과 실용성을 입증하였다.