[논문 리뷰] CADET: Debugging and Fixing Misconfigurations using Counterfactual Reasoning

Rahul Krishna, Shahriar Iqbal외 3명|arXiv (Cornell University)|2020. 10. 12.

Software Testing and Debugging Techniques참고 문헌 90인용 수 7

한 줄 요약

CADET는 관찰 데이터에서 원인 모델을 구축하고 반사적 추론을 적용하여 고도로 구성 가능한 시스템에서 기능하지 않는 결함의 원인을 특정하고 설명하며 수정하는 원인 디버깅 툴킷이다. 기존의 머신러닝 기반 방법보다 최대 13% 높은 정확도, 32% 높은 성능 향상, 13배 빠른 수리 발견 속도를 달성하며, 다중 목적 최적화보다는 약 8배 빠르게 수리를 발견하면서 유사하거나 더 나은 성능 결과를 제공한다.

ABSTRACT

Modern computing platforms are highly-configurable with thousands of interacting configurations. However, configuring these systems is challenging. Erroneous configurations can cause unexpected non-functional faults. This paper proposes CADET (short for Causal Debugging Toolkit) that enables users to identify, explain, and fix the root cause of non-functional faults early and in a principled fashion. CADET builds a causal model by observing the performance of the system under different configurations. Then, it uses casual path extraction followed by counterfactual reasoning over the causal model to: (a) identify the root causes of non-functional faults, (b) estimate the effects of various configurable parameters on the performance objective(s), and (c) prescribe candidate repairs to the relevant configuration options to fix the non-functional fault. We evaluated CADET on 5 highly-configurable systems deployed on 3 NVIDIA Jetson systems-on-chip. We compare CADET with state-of-the-art configuration optimization and ML-based debugging approaches. The experimental results indicate that CADET can find effective repairs for faults in multiple non-functional properties with (at most) 17% more accuracy, 28% higher gain, and $40 imes$ speed-up than other ML-based performance debugging methods. Compared to multi-objective optimization approaches, CADET can find fixes (at most) $9 imes$ faster with comparable or better performance gain. Our case study of non-functional faults reported in NVIDIA's forum show that CADET can find $14%$ better repairs than the experts' advice in less than 30 minutes.

연구 동기 및 목표

• 복잡하고 비선형적인 구성 옵션 간 상호작용을 보이는 고도로 구성 가능한 시스템에서 발생하는 잘못된 구성으로 인한 비기능적 결함를 진단하고 수리하는 데 도전하는 것.
• 시스템 장애 없이도 지연, 에너지 소비, 열 방출 등의 성능 저하 원인을 조기에 탐지하고 원칙적인 설명을 제공하는 것.
• 반사적 추론을 사용해 구성 변경의 원인 효과를 추정함으로써 실행 가능한 고품질의 수리 권고를 제공하는 것.
• 기존의 머신러닝 기반 및 최적화 기반 접근 방식이 원인 이해 부족으로 인해 특정 구성이 성능을 저하시키는 이유를 설명하지 못하는 한계를 극복하는 것.
• 연간 약 5조 달러의 비용이 들 것으로 추정되는 비기능적 결함 디버깅의 시간과 비용을 줄이기 위해 근본 원인 분석과 수리 권고 자동화를 제공하는 것.

제안 방법

• CADET는 다양한 구성에서의 시스템 성능을 관찰하여 구성 옵션, 시스템 이벤트, 성능 지표 간의 상호의존성을 포착하는 원인 모델을 구축한다.
• 구성 매개변수와 성능 결과 간의 직접적 및 간접적 원인 관계를 식별하기 위해 원인 경로 추출을 수행한다.
• 반사적 추론을 사용해 특정 구성 옵션에 간섭하여 성능 목표에 대한 영향을 추정하는 '만약에' 시나리오를 시뮬레이션한다.
• 성능 저하를 역전하거나 완화할 수 있는 구성 변경을 결정하기 위해 반사적 영향을 계산한다.
• 구성 옵션을 그들의 추정된 원인 영향으로 순위 매기고, 성능 향상을 극대화하면서 부작용을 최소화하는 후보 수리 권고를 제시한다.
• 기존의 성능 모니터링 파이프라인과 통합되며, 동적 재구성 기능을 지원함으로써 실시간 진단 및 수리 제안이 가능하다.

실험 결과

연구 질문

• RQ1 CADET은 원인 추론과 반사적 추론을 사용해 고도로 구성 가능한 시스템에서 비기능적 결함의 근본 원인을 정확하게 특정할 수 있는가?
• RQ2 CADET의 수리 권고 품질은 전문가의 조언과 최신의 머신러닝 기반 디버깅 도구와 비교해 어떻게 되는가?
• RQ3 CADET은 다중 목적 최적화 및 머신러닝 기반 성능 디버깅 기법보다 속도와 성능 향상 측면에서 얼마나 뛰어나게 성과를 내는가?
• RQ4 CADET은 시스템 성능 데이터에서 흔히 발생하는 혼동 변수에 의해 가려진 비논리적인 상관관계(예: 허위 상관관계)를 탐지하고 설명할 수 있는가?
• RQ5 실제 시스템에서의 결함 진단 능력은 어떻게 평가되며, NVIDIA 개발자 포럼에 보고된 문제들에 대한 성능으로 어떻게 입증되는가?

주요 결과

• CADET은 최신의 머신러닝 기반 디버깅 방법보다 비기능적 결함의 근본 원인을 특정하는 데 최대 13% 더 높은 정확도를 달성했다.
• 구성 수리 권고 시 평균적으로 기존의 머신러닝 기반 접근 방식보다 32% 더 높은 성능 향상을 제공했다.
• 실제 사례에서 머신러닝 기반 디버깅 기법보다 13배 더 빠르게 효과적인 수리를 발견하여 수리 소요 시간을 수시간에서 30분 이내로 단축시켰다.
• 다중 목적 최적화와 비교해 CADET는 수리 발견 속도가 최대 8배 더 빠르며, 유사하거나 더 나은 성능 향상 결과를 달성했다.
• NVIDIA 개발자 포럼에 보고된 실제 사례에서 CADET는 전문가가 제공한 해결책보다 14% 더 효과적인 수리 권고를 내놓았으며, 30분 이내로 수행했다.
• CADET은 원인 경로 분석을 통해 스왑 메모리가 혼동 변수임을 식별함으로써, GPU 메모리 증가와 지연 간의 잘못된 인과관계(허위 상관관계)를 성공적으로 역전시켰다.