[논문 리뷰] Unicorn: Reasoning about Configurable System Performance through the lens of Causality

Md Shahriar Iqbal, Rahul Krishna외 3명|arXiv (Cornell University)|2022. 01. 20.

Software System Performance and Reliability인용 수 4

한 줄 요약

Unicorn은 소프트웨어-하드웨어 구성 간의 복잡한 상호작용을 포착함으로써 기존의 기계학습 모델의 한계를 극복하고, 고도로 구성 가능한 시스템에서 성능을 모델링하고 추론하기 위한 원인 인과 기반의 방법론을 제안한다. 인과적 구조 학습과 반성적 추론을 통해 예측 가능한 성능 예측과 최적화를 가능하게 하여, 상태의 최신 기법보다 성능 디버깅 및 최적화에서 뛰어난 성능을 발휘한다.

ABSTRACT

Modern computer systems are highly configurable, with the total variability space sometimes larger than the number of atoms in the universe. Understanding and reasoning about the performance behavior of highly configurable systems, over a vast and variable space, is challenging. State-of-the-art methods for performance modeling and analyses rely on predictive machine learning models, therefore, they become (i) unreliable in unseen environments (e.g., different hardware, workloads), and (ii) may produce incorrect explanations. To tackle this, we propose a new method, called Unicorn, which (i) captures intricate interactions between configuration options across the software-hardware stack and (ii) describes how such interactions can impact performance variations via causal inference. We evaluated Unicorn on six highly configurable systems, including three on-device machine learning systems, a video encoder, a database management system, and a data analytics pipeline. The experimental results indicate that Unicorn outperforms state-of-the-art performance debugging and optimization methods in finding effective repairs for performance faults and finding configurations with near-optimal performance. Further, unlike the existing methods, the learned causal performance models reliably predict performance for new environments.

연구 동기 및 목표

• 매우 넓은 조합적 구성 공간을 가진 고도로 구성 가능한 시스템에서 성능에 대한 추론 문제를 해결하기 위해.
• 기존의 기계학습 기반 성능 모델의 한계를 극복하기 위해, 이러한 모델들은 상관 기반 추론으로 인해 새로운 환경에서는 신뢰할 수 없고 잘못된 설명을 제공하기 때문이다.
• 구성 옵션과 시스템 행동 간의 인과적 상호작용을 모델링하여 정확한 성능 디버깅과 최적화를 가능하게 하기 위해.
• 인과적 구조 복원을 통해 구성 수리 및 튜닝을 위한 신뢰할 수 있는 반성적 추론을 지원하기 위해.
• 시험-오차 방식에 의존하는 것을 줄이기 위해, 인과 효과 추정을 통해 영향력이 큰 구성 변경 사항을 식별하기 위해.

제안 방법

• Unicorn은 인과 발견 기법을 사용하여 성능 데이터로부터 잠재적인 인과적 구조를 복원하고, 소프트웨어 및 하드웨어 구성 옵션 간의 상호작용을 모델링한다.
• do-계산법 표기법을 적용하여, 예를 들어 $\mathbb{E}[Z~{}|~{}\mathit{do}(X=x)]$ 와 같이 구성 변경이 성능 결과에 미치는 평균 인과 효과(ACE)를 추정한다.
• 지연 시간과 에너지 소비에 대한 평균 인과 효과 기반으로 구성 옵션에서 비기능적 성능 요소로 향하는 인과 경로를 순위 매긴다.
• 주어진 구성 옵션의 인과 효과 추정치가 높은 경우 정보 수확량을 극대화하기 위해 반복적으로 다음 측정 대상 구성 옵션을 선택하는 활성 학습 기법을 사용한다.
• 성능 메트릭에서 루트 구성 노드로 되돌아가면서 인과 경로를 추출하여, 고성능 영향을 미치는 경로에 집중하여 장애 진단을 수행한다.
• 프레임워크는 '만약에' 시나리오를 시뮬레이션하기 위해 반성적 추론을 통합하여 성능 장애 수리에 효과적이다.

실험 결과

연구 질문

• RQ1 상관 기반 기계학습 모델에 비해 인과 추론이 고도로 구성 가능한 시스템에서 성능 예측에 얼마나 향상되는가?
• RQ2 인과 모델은 다양한 구성에서 성능 저하의 근본 원인을 얼마나 효과적으로 특정할 수 있는가?
• RQ3 Unicorn은 새로운 하드웨어 및 워크로드 환경으로 일반화되는 데 어느 정도까지 가능한가?
• RQ4 인과 경로 순위 매기기와 활성 학습은 성능 디버깅 및 최적화를 얼마나 가속화하는가?
• RQ5 Unicorn은 최적에 가까운 구성 설정을 찾고 성능 장애를 수리하는 데서 최신 기술과 비교해 어떻게 성능을 내는가?

주요 결과

• Unicorn은 실세계의 여섯 가지 시스템, 특히 온디바이스 머신러닝 시스템과 데이터베이스를 포함하여 성능 장애 수리에 효과적인 수정 방법을 찾는 데서 최신 기술보다 뛰어난 성능을 보였다.
• Jetson TX2에서 실시한 실세계 성능 문제 해결 과정에서, Unicorn은 인과 경로 분석을 통해 근본 원인을 특정함으로써 해결 시간을 2일에서 22분으로 단축시켰다.
• 기본 설정 대비 7배의 지연 시간 감소를 달성했으며, 최적 설정을 사용할 경우 기준 대비 5.75배 향상된 성능을 기록했다.
• Unicorn은 상관 기반 모델이 분포 이동 상황에서 실패하는 것과는 달리, 새로운 환경에서 성능을 안정적으로 예측할 수 있었다.
• CUDA_STATIC 및 vm.swappiness의 최적 값 식별을 통해 캐시 미스는 55% 감소시키고, 시스템 안정성은 1% 향상시켰다.
• 인과 경로 순위 매기기는 효율적인 장애 위치 특정을 가능하게 하였으며, 상위 순위 경로가 스루풋과 에너지 소비의 변동성의 55%를 설명하였다.