[논문 리뷰] An Uncertainty-Aware Approach To Optimal Configuration Of Stream Processing Systems

Pooyan Jamshidi, Giuliano Casale|arXiv (Cornell University)|2016. 06. 22.

Simulation Techniques and Applications참고 문헌 25인용 수 13

한 줄 요약

이 논문은 제한된 실험 예산 하에서 스트림 처리 시스템(SPS) 성능의 불확실성을 모델링하기 위해 가우시안 프로세스를 사용하는 베이지안 최적화 프레임워크인 BO4CO를 제안한다. 이는 노이즈가 많고 고차원적인 구성 공간에서 탐색과 이용의 균형을 지능적으로 유지함으로써 기존 방법 대비 최소 10배 향상된 성능을 달성한다.

ABSTRACT

The datasets in this release support the results presented in the paper P. Jamshidi, G. Casale, "An Uncertainty-Aware Approach to Optimal Configuration of Stream Processing Systems", accepted for presentation at MASCOTS 2016. An open access to the paper is available at https://arxiv.org/abs/1606.06543 Also open source code is available at https://github.com/dice-project/DICE-Configuration-BO4CO The archive contains 10 comma separated datasets representing performance measurements (throughput and latency) for 3 different stream benchmark applications. These have been experimentally collected on 5 different cloud cluster over the course of 3 months (24/7). Each row in the datasets represents a different configuration setting for the application and the last two columns represent the average performance of the application measured over the course of 10 minutes under that specific configuration setting. The datasets contains a full factorial and exhaustive measurements for all possible settings limited to a predetermined interval for each variable. Each dataset is named in the following format: "<em>benchmark_application-dimensions-cluster_name</em>". For example, "wc-6d-c1" refers to WordCount benchmark application with 6 dimensions (i.e., we varied 6 configuration parameters) and the application was deployed on c1 cluster (OpenNebula, see Appendix). This resulted in a dataset of size 2880, i.e., it has taken 2880*10m=480h=20days for collecting the data! For more information about the data refer to the appendix of the paper: https://arxiv.org/abs/1606.06543. When referring to the dataset or code please cite the paper above.

연구 동기 및 목표

• 제한된 실험 예산과 노이즈가 있는 측정치 하에서 스트림 처리 시스템(SPS)의 최적 구성 문제를 해결하기 위해.
• 느린 속도와 전문 지식이 필요한 히우리스틱, 규칙 기반 또는 시행착오 기반 튜닝 방법에 대한 의존도를 줄이기 위해.
• 복잡하고 비선형적인 구성 공간을 효율적으로 탐색할 수 있는 자동화되고 불확실성 인식 기반의 구성 최적화 프레임워크를 개발하기 위해.
• 확률적 모델링에 기반한 순차적 실험을 통해 정확하고 신속하게 근사 최적의 SPS 구성에 수렴할 수 있도록 하기 위해.

제안 방법

• BO4CO는 SPS 성능의 반응 표면을 구성 요소에 대한 사후 분포로 모델링하기 위해 가우시안 프로세스(GPs)를 사용한다.
• 탐색과 이용의 균형을 고려한 취득 함수를 기반으로 베이지안 최적화를 통해 다음으로 테스트할 구성 요소를 순차적으로 선택한다.
• 이 알고리즘은 과거 실험 기록을 유지하며 새로운 데이터를 통합하여 불확실성 추정치를 개선하고 검색 효율성을 높인다.
• 정수, 불리언, 직렬화 방법 또는 메시징 프레임워크와 같은 범주형 변수를 포함한 연속형 및 범주형 구성 매개변수를 모두 지원한다.
• 복잡한 비선형 상호작용을 포착하기 위해 다양한 커널 추정기들을 통합한다.
• 취득 함수는 최적 성능를 달성할 잠재력이 높은 영역으로 실험을 이동시키면서 불확실성을 최소화하도록 이끈다.

실험 결과

연구 질문

• RQ1 베이지안 최적화 접근법이 스트림 처리 시스템에서 최적 구성 요소를 찾기 위해 필요한 실험 수를 효과적으로 줄일 수 있는가?
• RQ2 불확실성 인식 기반의 구성 튜닝이 전통적인 히우리스틱 또는 검색 기반 방법에 비해 성능을 어떻게 향상시키는가?
• RQ3 제한된 샘플링 조건 하에서 가우시안 프로세스가 SPS 성능의 비선형적이고 노이즈가 많은 반응 표면을 어느 정도 정확하게 모델링할 수 있는가?
• RQ4 제안된 방법이 다양한 SPS 워크로드와 시스템 구성에 일반화될 수 있는가?

주요 결과

• BO4CO는 최적 구성 요소와의 거리 측면에서 기존 구성 알고리즘 대비 최소 10배 향상된 성능을 달성했다.
• 제한된 실험 예산 내에서 최적의 구성 요소를 확보함으로써 Apache Storm 벤치마크에서 높은 샘플 효율성을 입증했다.
• 학습된 GP 모델은 튜닝 과정 전반에 걸쳐 신뢰할 수 있는 성능 예측을 제공하여 최소한의 측정치로도 정보 기반 의사결정을 가능하게 했다.
• 세 가지 별도의 SPS 워크로드에서 다섯 가지 기준 방법보다 뛰어난 수렴 속도와 정확도를 보이며 일관된 슈퍼리어리티를 입증했다.
• 반응 표면의 불확실성을 체계적으로 감소시킴으로써 최적 구성 요소의 최종 발견을 보장하는 알고리즘이었다.