[논문 리뷰] Transfer Learning with Bellwethers to find Good Configurations

Vivek Nair, Rahul Krishna외 2명|arXiv (Cornell University)|2018. 03. 11.

Software Engineering Research참고 문헌 41인용 수 6

한 줄 요약

이 논문은 성능을 최소한의 측정으로 최적의 설정을 식별할 수 있도록, 다른 환경들에서의 성능을 예측할 수 있는 표본 소프트웨어 환경인 벨로우터(bellwethers)를 사용하는 전이 학습 방법 BEETLE를 제안한다. 높은 성능을 보이는 벨로우터 소스를 선택하고 단순한 전이 학습을 적용함으로써, BEETLE는 이전 방법들에 비해 약 1/7의 설정 평가 수로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As software systems grow in complexity, the space of possible configurations grows exponentially. Within this increasing complexity, developers, maintainers, and users cannot keep track of the interactions between all the various configuration options. Finding the optimally performing configuration of a software system for a given setting is challenging. Recent approaches address this challenge by learning performance models based on a sample set of configurations. However, collecting enough data on enough sample configurations can be very expensive since each such sample requires configuring, compiling and executing the entire system against a complex test suite. The central insight of this paper is that choosing a suitable source (a.k.a. "bellwether") to learn from, plus a simple transfer learning scheme will often outperform much more complex transfer learning methods. Using this insight, this paper proposes BEETLE, a novel bellwether based transfer learning scheme, which can identify a suitable source and use it to find near-optimal configurations of a software system. BEETLE significantly reduces the cost (in terms of the number of measurements of sample configuration) to build performance models. We evaluate our approach with 61 scenarios based on 5 software systems and demonstrate that BEETLE is beneficial in all cases. This approach offers a new highwater mark in configuring software systems. Specifically, BEETLE can find configurations that are as good or better as those found by anything else while requiring only 1/7th of the evaluations needed by the state-of-the-art.

연구 동기 및 목표

• 광범위한 설정 샘플링으로 인해 구성 가능한 소프트웨어 시스템에서 성능 모델 구축 비용이 높다는 문제를 해결하기 위해.
• 기존 전이 학습 방법이 적합한 소스 환경을 선택하지 못해 부정적 전이 또는 열악한 성능을 보이는 한계를 극복하기 위해.
• 한 가지 표본 환경이 다른 환경들에서의 성능를 예측할 수 있는 '벨로우터 효과'를 활용하여, 효율적이고 고정도의 설정 최적화를 가능하게 하기 위해.
• 모든 설정 공간 탐색이 필요로 하는 비용을 줄이기 위해, 최소한의 측정으로도 빠르고 확장 가능한 방식으로 벨로우터 환경을 식별하는 방법을 개발하기 위해.
• 잘 선택된 벨로우터 소스를 사용하는 단순한 전이 학습 기법이 복잡한, 소스에 종속되지 않은 전이 학습 접근 방식보다 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 설정 공간의 약 10%만 평가하여 가장 예측력이 높은 소스 환경을 찾는 데 사용할 수 있는 새로운 빠른 알고리즘을 통해 벨로우터 환경을 식별한다.
• 벨로우터 환경에서 학습된 성능 모델을 타겟 환경의 설정 예측에 사용하는 단순한 전이 학습 기법을 적용한다.
• NSGA-II 또는 유사한 알고리즘과 같은 검색 기반 최적화 프레임워크를 사용하여, 벨로우터에서 유도된 성능 모델에 따라 설정 공간을 탐색한다.
• 예측 정확도와 설정 품질 평가를 위해 주로 NAR(정규화된 평균 절대 오차)를 성능 측정 지표로 사용한다.
• 탐색과 측정 비용의 균형을 맞추기 위해 가용 예산을 고려한 검색 전략을 구성 가능한 파라미터(예: lives, budget)와 함께 통합한다.
• 실제 워크로드와 벤치마크 세트를 사용하여 다양한 소프트웨어 시스템에서의 실용적 적용 가능성을 보장하기 위해, 실제 환경에서의 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 벨로우터 효과가 소프트웨어 성능 최적화에서 전이 학습을 위한 고성능 소스 환경을 효과적으로 식별하는 데 활용될 수 있는가?
• RQ2 벨로우터 환경을 신뢰성 있게 식별하기 위해 얼마나 많은 측정이 필요한가? 그리고 이는 최소한의 오버헤드로 수행될 수 있는가?
• RQ3 잘 선택된 벨로우터 소스를 사용하는 단순한 전이 학습 기법이, 복잡한 소스에 종속되지 않은 전이 학습 방법보다 설정 최적화에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 BEETLE는 비전이 학습 및 최신 기술 수준의 전이 학습 방법에 비해 설정 평가 수를 얼마나 줄일 수 있으며, 설정 품질은 유지 또는 향상시키는가?
• RQ5 벨로우터 기반 접근 방식이 실패하는 상황는 언제이며, 어떤 요소들(예: 메트릭, 시스템 차이, 성능 측정 방식)이 그 효과성에 영향을 미치는가?

주요 결과

• BEETLE는 5개의 구성 가능한 소프트웨어 시스템에서 61개의 다양한 시나리오에서 벨로우터 환경을 성공적으로 식별하여, 성능 최적화에서 벨로우터 효과의 존재를 입증하였다.
• 벨로우터를 식별하기 위해 설정 공간의 약 10%만 측정하면 되므로, 데이터 수집 비용을 크게 줄일 수 있었다.
• BEETLE는 최신 기술 수준의 전이 학습 방법과 비교해도 유사하거나 뛰어난 성능을 달성했으며, 평가 수를 약 1/7(설정 공간의 약 13.5%)로 줄였다.
• 평가된 5개 사례 중 4개에서 벨로우터 기반 전이 학습 기법이 최고의 비전이 학습 및 최신 기술 수준의 전이 학습 기반선보다 성능이 뛰어나거나 동일했다.
• 다양한 소프트웨어 시스템과 워크로드 간에서도 안정적인 성능 향상을 보였으며, 시스템 버전이나 워크로드가 변경되어도 일관된 성능 향상이 관찰되었다.
• BEETLE의 효과성은 예산과 검색 라이브 수와 같은 하이퍼파라미터에 민감하며, 높은 값일수록 NAR(예측 정확도)가 향상되지만, 최적의 성능는 최소 설정(예: 예산 = 10%, lives = 5)에서 달성되었다.