[논문 리뷰] Faster Discovery of Faster System Configurations with Spectral Learning

Vivek Nair, Tim Menzies외 2명|arXiv (Cornell University)|2017. 01. 27.

Software Engineering Research참고 문헌 37인용 수 25

한 줄 요약

이 논문은 소프트웨어 구성 간의 거리 행렬의 고유값을 사용하는 스펙트럴 학습 방법인 WHAT을 제안한다. 이 방법은 차원 축소를 가능하게 하여 이전 방법보다 훨씬 적은 샘플 수—단지 수십 개—로도 정확하고 안정적인 성능 예측을 가능하게 한다. 기존 최고 수준의 기술 대비 샘플 요구량을 2–10배 감소시키면서도 예측 오차는 10% 이하, 표준편차는 2% 이하로 낮춘다.

ABSTRACT

Despite the huge spread and economical importance of configurable software systems, there is unsatisfactory support in utilizing the full potential of these systems with respect to finding performance-optimal configurations. Prior work on predicting the performance of software configurations suffered from either (a) requiring far too many sample configurations or (b) large variances in their predictions. Both these problems can be avoided using the WHAT spectral learner. WHAT's innovation is the use of the spectrum (eigenvalues) of the distance matrix between the configurations of a configurable software system, to perform dimensionality reduction. Within that reduced configuration space, many closely associated configurations can be studied by executing only a few sample configurations. For the subject systems studied here, a few dozen samples yield accurate and stable predictors - less than 10% prediction error, with a standard deviation of less than 2%. When compared to the state of the art, WHAT (a) requires 2 to 10 times fewer samples to achieve similar prediction accuracies, and (b) its predictions are more stable (i.e., have lower standard deviation). Furthermore, we demonstrate that predictive models generated by WHAT can be used by optimizers to discover system configurations that closely approach the optimal performance.

연구 동기 및 목표

• 큰 복잡한 소프트웨어 시스템에서 최적의 성능 설정을 최소한의 샘플링으로 발견하는 데 도전하는 것.
• 과도한 샘플 수가 필요하거나 높은 예측 분산을 겪는 기존 방법의 한계를 극복하는 것.
• 소수의 대표 구성 설정을 사용하여 확장성 있고 안정적이며 정확한 성능 예측 방법을 개발하는 것.
• 보편적인 최적화 도구에서 사용할 수 있도록 신뢰할 수 있고 분산이 낮은 예측 모델을 생성함으로써 서rogate 모델의 효율적 사용을 가능하게 하는 것.
• 첫 번째 주성분을 통한 스펙트럴 클러스터링의 효과를 입증하기 위해 구성 공간 샘플링을 위한 첫 번째 주성분을 활용하는 것.

제안 방법

• 구성 간의 거리 행렬의 스펙트럼(고유값)을 사용하여 스펙트럴 차원 축소를 수행하는 방법.
• 첫 번째 주성분의 근사치를 사용해 구성 공간을 반복적으로 분할하여 유사한 구성의 클러스터를 식별하는 방법.
• 스펙트럴 성질에 기반해 각 클러스터에서 샘플 비용을 최소화하기 위해 소수의 대표 구성 설정을 선별하는 방법.
• 상호상관 차원으로 측정된 구성 공간의 내재적 저차원성을 활용하여 샘플링을 이끌어내는 방법.
• 구성 설정을 군집화하고 정보가 풍부한 샘플을 식별하기 위해 거리 기반 유사도 측정법(Euclidean)을 사용하는 방법.
• 최종적으로 생성된 모델을 표준 최적화 도구에서 사용할 수 있는 서rogate 예측 모델로 활용하여 근사 최적 설정을 찾는 방법.

실험 결과

연구 질문

• RQ1 스펙트럴 학습은 구성 가능한 소프트웨어 시스템에서 성능 예측을 위한 샘플 수를 줄일 수 있는가? 이때 정확도는 유지되거나 향상되는가?
• RQ2 구성 공간의 거리 행렬의 첫 번째 주성분을 사용할 경우 샘플링 효율성과 예측 안정성은 어떻게 향상되는가?
• RQ3 WHAT이 생성한 예측 모델은 표준 최적화 알고리즘에 얼마나 효과적으로 활용될 수 있는가? 근사 최적 설정을 발견하는 데 성공하는가?
• RQ4 구성 공간의 내재 차원이 스펙트럴 샘플링 전략의 성능에 어떤 영향을 미치는가?
• RQ5 샘플 효율성과 예측 분산 측면에서 제안된 방법이 최고 수준의 기존 기술을 뛰어넘을 수 있는가?

주요 결과

• WHAT은 6개의 실제 시스템에서 단지 수십 개의 샘플만으로도 예측 오차가 10% 이하, 표준편차가 2% 이하로 낮춘다.
• 기존 최고 수준의 기술 대비 샘플 요구량을 2배에서 10배까지 감소시키면서도 정확도는 유지하거나 향상시킨다.
• WHAT이 생성한 예측 모델은 안정적이고 효과적이며, 모든 테스트된 시스템에서 표준 최적화 도구가 근사 최적 설정을 성공적으로 발견할 수 있도록 한다.
• 상호상관 차원으로 측정된 구성 공간의 내재 차원은 낮아서 이 방법의 뛰어난 성능를 설명할 수 있다.
• WHAT은 정확도와 안정성 측면에서 Siegmund et al. 및 Guo et al.를 뛰어넘고, 샘플 수를 크게 줄여서 Sarkar et al.와 동일한 정확도를 달성한다.
• 이 방법은 Berkeley DB, Apache, SQLite, LLVM, x264와 같은 다양한 시스템에서 뛰어난 적용 범위를 보이며, 높은 내구성과 일반화 능력을 입증한다.