[논문 리뷰] Predicting Performance of Software Configurations: There is no Silver Bullet

Alexander Grebhahn, Norbert Siegmund외 1명|arXiv (Cornell University)|2019. 11. 28.

Software System Performance and Reliability인용 수 7

한 줄 요약

이 연구는 여섯 개인 실제 소프트웨어 시스템에서 소프트웨어 구성 성능 예측에 대해 기계학습 기법과 표본 추출 전략의 영향을 평가한다. 연구 결과, 학습 알고리즘과 표본 추출 방법 모두 예측 정확도에 중대한 영향을 미치며, 랜덤 포레스트와 구조적 표본 추출이 다른 것들보다 뛰어나지만, 유일한 최적 조합은 존재하지 않으며, 이는 성능 예측에서 '무료 점심' 정리가 성립함을 입증한다.

ABSTRACT

Many software systems offer configuration options to tailor their functionality and non-functional properties (e.g., performance). Often, users are interested in the (performance-)optimal configuration, but struggle to find it, due to missing information on influences of individual configuration options and their interactions. In the past, various supervised machine-learning techniques have been used to predict the performance of all configurations and to identify the optimal one. In the literature, there is a large number of machine-learning techniques and sampling strategies to select from. It is unclear, though, to what extent they affect prediction accuracy. We have conducted a comparative study regarding the mean prediction accuracy when predicting the performance of all configurations considering 6 machine-learning techniques, 18 sampling strategies, and 6 subject software systems. We found that both the learning technique and the sampling strategy have a strong influence on prediction accuracy. We further observed that some learning techniques (e.g., random forests) outperform other learning techniques (e.g., k-nearest neighbor) in most cases. Moreover, as the prediction accuracy strongly depends on the subject system, there is no combination of a learning technique and sampling strategy that is optimal in all cases, considering the tradeoff between accuracy and measurement overhead, which is in line with the famous no-free-lunch theorem.

연구 동기 및 목표

• 다양한 기계학습 기법과 표본 추출 전략이 구성 가능한 소프트웨어 시스템의 성능 모델링에서 예측 정확도에 미치는 영향을 조사하는 것.
• 다양한 소프트웨어 시스템 전반에서 어떤 학습 알고리즘 또는 표본 추출 전략이 일관되게 다른 것들보다 뛰어나게 성능을 발휘하는지 확인하는 것.
• 실증적 성능 모델링에서 예측 정확도와 측정 오버헤드 사이의 트레이드오프를 평가하는 것.
• 구성 공간의 구조(이진형 vs. 숫자형 옵션)가 예측 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 이 연구는 다양한 분야의 여섯 개의 실제 구성 가능한 소프트웨어 시스템을 대상으로 비교적 실증적인 평가를 수행한다.
• 여섯 가지 기계학습 기법을 평가한다: k-근접 이웃(kNN), 커널 리지 회귀(KRR), 서포트 벡터 회귀(SVR), 분류 및 회귀 트리(CART), 다중 회귀(MR), 랜덤 포레스트(RF).
• 이십육 가지 표본 추출 전략이 적용되며, 이는 랜덤 표본 추출과 플래켓-버먼 설계 및 T-단계 테스트와 같은 구조적 전략을 포함한다. 이는 이진형 및 숫자형 구성 옵션에 모두 적용된다.
• 각 시스템에 대해, 측정된 구성의 부분 집합을 사용하여 모든 구성에 대한 성능 예측을 생성하며, 평균 절대 오차(MAE)를 정확도 측정 지표로 사용한다.
• 평가에서는 모든 구성에 걸쳐 평균 예측 오차를 측정하며, 학습 기법과 표본 추출 전략이 정확도에 미치는 영향을 비교한다.
• 다양한 수의 측정된 구성 수를 사용하여 실험을 수행함으로써 확장성과 표본 크기에 대한 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 구성 가능한 소프트웨어 시스템에서 어떤 기계학습 기법이 가장 정확한 성능 예측을 제공하는가?
• RQ2 다른 표본 추출 전략(예: 랜덤 대비 구조적)은 성능 예측 정확도에 어떻게 영향을 미치는가?
• RQ3 학습 기법의 성능가 시스템의 특성에 따라 달라지는가?
• RQ4 측정된 구성 수가 예측 정확도에 어느 정도의 영향을 미치며, 이는 표본 추출 전략에 따라 어떻게 달라지는가?
• RQ5 모든 시스템과 구성 유형에서 항상 다른 것들보다 뛰어난 성능을 내는 학습 기법과 표본 추출 전략의 조합이 존재하는가?

주요 결과

• 랜덤 포레스트(RF)와 분류 및 회귀 트리(CART)는 대부분의 시스템에서 다른 학습 기법보다 유의미하게 낮은 평균 절대 오차를 기록하며 일관되게 뛰어난 성능을 보였다.
• 플래켓-버먼 설계 및 T-단계 표본 추출과 같은 구조적 표본 추출 전략은 랜덤 표본 추출보다 더 정확한 예측을 제공했으며, 특히 작은 표본 크기에서 두드러진 성능 향상을 보였다.
• 학습 기법의 성능는 시스템 간에 크게 달라졌으며, 어떤 알고리즘도 모든 구성이나 시스템에서 최적의 성능을 보이지 않았다.
• 이진형 구성 옵션에서는 구조적 표본 추출이 정확도 향상에 더 뚜렷한 영향을 미쳤고, 숫자형 옵션에서는 정확도가 표본 크기에 더 의존하는 경향이 있었으며 표본 추출 방법보다 그 영향이 더 컸다.
• 측정된 구성 수가 증가함에 따라 표본 추출 전략 간 정확도 차이가 점점 줄어들었으며, 이는 더 큰 표본에서 수익 감소 효과가 있음을 시사한다.
• 모든 시스템에서 최적의 학습 기법과 표본 추출 전략의 조합이 존재하지 않았으며, 이는 성능 예측에서 '무료 점심' 정리가 성립함을 확인한다.