[논문 리뷰] Robust benchmarking in noisy environments

Jiahao Chen, Jarrett Revels|arXiv (Cornell University)|2016. 08. 15.

Parallel Computing and Optimization Techniques참고 문헌 24인용 수 67

한 줄 요약

이 논문은 타이머 오차, OS 점프, 비i.i.d. 시계열 분포가 존재하는 상황에서도 진정한 성능을 신뢰할 수 있는 추정치로 삼을 수 있는 최소 실행 시간을 다수의 실행에서 사용하는 강건한 벤치마킹 방법론을 제안한다. 이 방법은 비정규 시계열 통계를 설명하는 지연 모델에 기반하며, Julia 패키지인 BenchmarkTools에 구현되어 2016년 이후 Julia의 CI 파이프라인에서 30건 이상의 심각한 성능 저하를 성공적으로 방지했다.

ABSTRACT

We propose a benchmarking strategy that is robust in the presence of timer error, OS jitter and other environmental fluctuations, and is insensitive to the highly nonideal statistics produced by timing measurements. We construct a model that explains how these strongly nonideal statistics can arise from environmental fluctuations, and also justifies our proposed strategy. We implement this strategy in the BenchmarkTools Julia package, where it is used in production continuous integration (CI) pipelines for developing the Julia language and its ecosystem.

연구 동기 및 목표

• 비통계적이고 부정확한 벤치마킹 관행으로 인해 오해의 소지가 있는 성능 결론을 초래하는 문제를 해결하기 위해.
• 지속적 통합 및 인터랙티브 사용에 적합한 언어 및 플랫폼에 관계없는 벤치마킹 방법론을 개발하기 위해.
• 비i.i.i.d., 꼬임이 있는 분포를 보이는 시계열 측정치에 대해 전통적인 통계 방법(예: 평균, 중앙값, t-검정)의 한계를 극복하기 위해.
• 환경 변화나 시계측정 오차에 민감하지 않은 실용적이고 자동화된 솔루션을 제공하기 위해.

제안 방법

• 직렬 명령어 파이프라인 내에서 랜덤 지연의 집합으로 시계열 변동성을 모델링하여 실제 분포에서의 비대칭성, 双모달성, 드리프트를 설명한다.
• 다수의 실행에서 관측된 최소 실행 시간을 진정한 성능의 강건한 추정치로 사용할 것을 제안하며, 외부 지연으로 인한 시간 단축이 없음을 근거로 한다.
• 타겟 임계값 이하로 타이머 정확도를 분산시키기 위해 측정당 최소 실행 횟수를 결정하는 알고리즘(알고리즘 1)을 개발한다.
• BenchmarkTools Julia 패키지에 전략을 구현하여 Julia의 CI 파이프라인에서 자동화된, 생산 수준의 성능 저하 탐지 기능을 제공한다.
• 실제 Julia 벤치마크에서 확보한 실측 데이터를 사용하여 모델과 추정치의 성능을 검증한다.
• 지연의 누적 분포를 추정하기 위한 조회 테이블과 매개변수 모델(Eq. 11)을 도입하며, 매개변수를 관측된 시계측정 특성에 맞게 조정한다.

실험 결과

연구 질문

• RQ1 간단한 코드임에도 불구하고 고성능 응용 프로그램의 시계측정치가 비i.i.d., 꼬임이 있는 분포, 다중모달 분포를 보이는 이유는 무엇인가?
• RQ2 환경 노이즈와 타이머 정확도 오차가 존재하는 상황에서, 다수의 실행에서의 최소 실행 시간이 진정한 성능의 강건하고 정확한 추정치가 될 수 있는가?
• RQ3 특권 접근이나 환경 강화 없이도 OS 점프, CPU 주파수 스케일링 등의 시스템 수준의 변동성에 민감하지 않은 벤치마킹 전략을 어떻게 설계할 수 있는가?
• RQ4 타이머 정확도 오차가 관측된 성능 추정치를 지배하지 않도록 하기 위해 측정당 최소 몇 번의 실행이 필요한가?
• RQ5 기존의 평균, 중앙값, 또는 비모수적 이상치 제거 방법과 비교해 볼 때, 제안된 방법은 실제 성능 저하를 얼마나 잘 탐지하는가?

주요 결과

• 특히 비i.i.d. 및 꼬임이 있는 분포를 보일 경우, 평균이나 중앙값보다 최소 실행 시간이 더 강건하고 정확한 진정한 성능 추정치이다.
• 모델은 캐시 미스, 컨텍스트 스위치와 같은 시스템 수준 이벤트에서 기인한 누적 지연으로 인해 발생하는 관측된 시계측정 행동(비대칭성, 이중모달성, 드리프트)을 설명한다.
• 벤치마크를 다수의 실행으로 반복함으로써 타이머 정확도 오차의 영향을 효과적으로 분산시켜, 저정밀도 타이머를 사용하는 환경에서도 성능 추정의 영향을 줄일 수 있다.
• 제안된 방법은 2016년 이후 자동화된 CI 테스트를 통해 Julia 표준 라이브러리에서 최소 실행 시간이 30% 이상 증가한 것으로 정의되는 30건 이상의 심각한 성능 저하를 성공적으로 탐지하고 방지했다.
• BenchmarkTools에 구현된 방법은 Julia 생태계의 1,300개 이상의 벤치마크에서 완전히 자동화되고 생산 수준의 성능 저하 탐지 기능을 제공한다.
• 경험적으로 조정된 매개변수를 가진 매개변수 모델(Eq. 11)은 관측된 지연 분포와 매우 유사하게 일치하며, 이는 기반 지연 모델의 타당성을 뒷받침한다.