[논문 리뷰] Quantifying Performance Changes with Effect Size Confidence Intervals

Tomáš Kalibera, Richard Jones|arXiv (Cornell University)|2020. 07. 21.

Software System Performance and Reliability참고 문헌 37인용 수 23

한 줄 요약

이 논문은 랜덤 효과와 피勒의 정리(Fieller's theorem)를 사용하는 통계 모델을 제안하여 실행 시간 변동성과 비결정론적 컴파일과 같은 비결정론적 요인을 고려해 성능 비율 추정치(예: 스피드업)의 불확실성을 정량화한다. 이는 '95% 신뢰수준에서 5.5% ± 2.5%'와 같은 신뢰구간을 제공함으로써 현재의 관행에서 불확실성과 비결정론을 간과하는 것에 비해 더 엄밀하고 해석 가능한 대안을 제공한다.

ABSTRACT

Measuring performance & quantifying a performance change are core evaluation techniques in programming language and systems research. Of 122 recent scientific papers, as many as 65 included experimental evaluation that quantified a performance change using a ratio of execution times. Few of these papers evaluated their results with the level of rigour that has come to be expected in other experimental sciences. The uncertainty of measured results was largely ignored. Scarcely any of the papers mentioned uncertainty in the ratio of the mean execution times, and most did not even mention uncertainty in the two means themselves. Most of the papers failed to address the non-deterministic execution of computer programs (caused by factors such as memory placement, for example), and none addressed non-deterministic compilation. It turns out that the statistical methods presented in the computer systems performance evaluation literature for the design and summary of experiments do not readily allow this either. This poses a hazard to the repeatability, reproducibility and even validity of quantitative results. Inspired by statistical methods used in other fields of science, and building on results in statistics that did not make it to introductory textbooks, we present a statistical model that allows us both to quantify uncertainty in the ratio of (execution time) means and to design experiments with a rigorous treatment of those multiple sources of non-determinism that might impact measured performance. Better still, under our framework summaries can be as simple as "system A is faster than system B by 5.5% $\pm$ 2.5%, with 95% confidence", a more natural statement than those derived from typical current practice, which are often misinterpreted. November 2013

연구 동기 및 목표

• 프로그래밍 언어 및 시스템 연구 분야에서 성능 평가 시 불확실성 보고의 광범위한 부족을 해결한다.
• 실행 시간 변동성과 비결정론적 컴파일을 포함한 성능 변동의 비결정론적 원인을 다룬다.
• 실제 실험 조건에서 성능 비율(예: 스피드업)에 대한 정확한 신뢰구간을 가능하게 하는 통계 모델을 개발한다.
• 유의성 검정이나 신뢰구간의 시각적 겹침에 의존하는 현재의 관행에 비해 더 해석 가능하고 과학적으로 엄밀한 대안을 제공한다.
• 실험 설계와 보고 방식을 개선하여 컴퓨터 시스템 성능 평가의 재현성과 타당성을 향상시킨다.

제안 방법

• 실행 내 변동성, 실행 간 변동성, 비결정론적 컴파일을 포함한 다수의 비결정론적 원인을 포괄하는 계층적 랜덤 효과 모델로 성능 측정을 수학적으로 정의한다.
• 이 랜덤 효과 모델 하에서 두 평균의 비율(예: 시스템 A 대비 B의 실행 시간)에 대한 신뢰구간을 계산하기 위해 피勒의 정리를 적용한다.
• 다양한 수준의 변동성(예: 다수의 컴파일, 다수의 실행)에 걸쳐 반복 측정된 데이터로부터 분산 성분을 동시에 추정하기 위해 경험베이즈 추정을 사용한다.
• 정밀도와 비용의 균형을 고려해 실험 수준(예: 컴파일, 실행)에서 반복 횟수를 최적화하는 실험 프로토콜을 설계한다.
• 실제 벤치마크(예: FFT, Ping)를 대상으로 통계 시뮬레이션을 통해 방법을 검증하고, 기존 관행과 비교하여 신뢰구간의 커버리지와 I형 오류 비율을 평가한다.
• 실제 보고에 통합하여 '시스템 A는 B보다 5.5% ± 2.5% 빠르며, 95% 신뢰수준'과 같은 간결하고 해석 가능한 문장 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실행 시간 변동성과 비결정론적 컴파일과 같은 다수의 비결정론적 원인이 존재할 때 성능 비율 추정치의 불확실성을 어떻게 엄밀하게 정량화할 수 있는가?
• RQ2 다양한 실험 수준에서 랜덤 효과를 고려하는 통계 모델이 현재의 관행에 비해 성능 평가의 정확성과 신뢰성을 향상시킬 수 있는가?
• RQ3 비결정론적 컴파일이 성능 측정에 미치는 영향은 무엇이며, 이를 체계적으로 모델링하고 완화할 수 있는가?
• RQ4 다양한 반복 전략(예: 다수의 실행, 다수의 컴파일)이 성능 평가의 정밀도와 효율성에 어떤 영향을 미치는가?
• RQ5 기존의 유의성 검정이나 신뢰구간의 시각적 겹침에 의존하는 접근 방식에 비해 제안된 방법이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 현재의 관행에서 종종 불확실성 추정을 생략하는 것에 비해 더 정확하고 해석 가능한 성능 비율의 신뢰구간을 생성한다.
• 비결정론적 컴파일은 성능 측정에 상당한 영향을 미친다. 예를 들어, 모노(Mono)에서 동일한 소스 코드를 반복 컴파일했을 때 실행 시간이 달라지는 현상이 관찰되어, 이를 명시적으로 모델링할 필요가 있다.
• 이 방법은 최적화된 실험 설계를 가능하게 한다. 일부 벤치마크(예: Ping)의 경우 반복 실행은 불필요할 수 있으나, 다른 벤치마크(예: FFT)의 경우 변동성을 포착하기 위해 반복 컴파일이 필수적이다.
• 이 프레임워크는 '시스템 A는 B보다 5.5% ± 2.5% 빠르며, 95% 신뢰수준'과 같은 간결하고 자연스러운 보고 방식을 가능하게 하여, 의미 기반 문장보다 더 직관적이고 오해의 여지가 적다.
• 신뢰구간의 시각적 겹침에 의존하는 기존 방법보다 성능 평가에서 더 나은 성능을 보이며, 이는 이진적 정보에 불과한 것에 비해 실제 성능 비율의 추정 구간을 제공하기 때문이다.
• 통계 시뮬레이션 결과, 제안된 방법은 현실적인 조건 하에서도 적절한 커버리지와 I형 오류 비율을 유지함으로써 신뢰성 있는 결과를 보여주었다.