[論文レビュー] CADET: Debugging and Fixing Misconfigurations using Counterfactual Reasoning

Rahul Krishna, Shahriar Iqbal+3 more|arXiv (Cornell University)|Oct 12, 2020

Software Testing and Debugging Techniques参考文献 90被引用数 7

ひとこと要約

CADET は、観測データから因果モデルを構築し、反事後的推論を適用することで、高設定可能なシステムにおける非機能的欠陥の特定、説明、修復を可能にする因果デバッグツールキットである。機械学習ベースの手法と比較して、最大13%高い精度、32%高い性能向上、13倍速い修復発見を達成しており、多目的最適化と比較して最大8倍速く修正を発見できる。

ABSTRACT

Modern computing platforms are highly-configurable with thousands of interacting configurations. However, configuring these systems is challenging. Erroneous configurations can cause unexpected non-functional faults. This paper proposes CADET (short for Causal Debugging Toolkit) that enables users to identify, explain, and fix the root cause of non-functional faults early and in a principled fashion. CADET builds a causal model by observing the performance of the system under different configurations. Then, it uses casual path extraction followed by counterfactual reasoning over the causal model to: (a) identify the root causes of non-functional faults, (b) estimate the effects of various configurable parameters on the performance objective(s), and (c) prescribe candidate repairs to the relevant configuration options to fix the non-functional fault. We evaluated CADET on 5 highly-configurable systems deployed on 3 NVIDIA Jetson systems-on-chip. We compare CADET with state-of-the-art configuration optimization and ML-based debugging approaches. The experimental results indicate that CADET can find effective repairs for faults in multiple non-functional properties with (at most) 17% more accuracy, 28% higher gain, and $40 imes$ speed-up than other ML-based performance debugging methods. Compared to multi-objective optimization approaches, CADET can find fixes (at most) $9 imes$ faster with comparable or better performance gain. Our case study of non-functional faults reported in NVIDIA's forum show that CADET can find $14%$ better repairs than the experts' advice in less than 30 minutes.

研究の動機と目的

• 高設定可能なシステムにおける設定ミスが原因で生じる複雑で非線形的な設定オプション間の相互作用を伴う非機能的欠陥を診断・修復する課題に対処すること。
• システムのクラッシュを伴わずに、レイテンシ、エネルギー消費、発熱などの性能低下の根本原因を早期に検出し、体系的な説明を提供すること。
• 反事後的推論を用いて設定変更の因果的影響を推定することで、実行可能な高品質な修復提案を提供すること。
• 既存の機械学習ベースおよび最適化ベースのアプローチが因果的理解を欠き、特定の設定が性能を低下させる理由を説明できないという限界を克服すること。
• 年間推定5兆ドルにのぼる非機能的欠陥のデバッグにかかる時間とコストを削減するため、根本原因分析と修復提案の自動化を実現すること。

提案手法

• CADET は、多様な設定におけるシステムのパフォーマンスを観測することで因果モデルを構築し、設定オプション、システムイベント、パフォーマンス指標の間の相互依存関係を捉える。
• 因果パス抽出を実行し、設定パラメータとパフォーマンス結果の間の直接的および間接的な因果関係を同定する。
• 反事後的推論を用いて、特定の設定オプションに干渉することで『もし〜なら』のシナリオをシミュレートし、それらがパフォーマンス目標に与える影響を推定する。
• 反事後的効果を計算することで、観察されたパフォーマンス低下を逆転または緩和する設定変更を同定する。
• 設定オプションをその推定された因果的影響の大きさでランク付けし、副作用を最小限に抑えつつパフォーマンス向上を最大化する候補修復を提示する。
• 既存のパフォーマンス監視パイプラインと統合可能で、動的再設定をサポートしており、リアルタイムの診断と修復提案を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CADET は、因果推論と反事後的推論を用いて、高設定可能なシステムにおける非機能的欠陥の根本原因を正確に特定できるか？
• RQ2 CADET の修復提案の質は、専門家による助言および最先端の機械学習ベースのデバッグツールと比較してどの程度か？
• RQ3 CADET は、多目的最適化および機械学習ベースのパフォーマンスデバッグにおいて、スピードとパフォーマンス向上の点でどの程度優れているか？
• RQ4 CADET は、共変量の混同によって隠されている誤った相関関係（例：GPUメモリの増加とレイテンシの誤った関連性）のような非直感的な因果関係を検出し、説明できるか？
• RQ5 NVIDIAの開発者フォーラムに報告された事例に基づく実世界のシステムにおいて、CADET はどの程度の有効性を示すか？

主な発見

• CADET は、最先端の機械学習ベースのデバッグ手法と比較して、非機能的欠陥の根本原因を特定する際、最大13%高い精度を達成した。
• 設定変更の修復提案において、平均で32%高いパフォーマンス向上を達成し、既存の機械学習ベースのアプローチを著しく上回った。
• 実世界の事例では、機械学習ベースのデバッグ手法に比べて、効果的な修復を13倍速く発見した。時間短縮は、数時間から30分未満にまで短縮された。
• 多目的最適化と比較して、CADET は最大8倍速く修正を発見したが、同等またはより優れたパフォーマンス向上を達成した。
• NVIDIAの開発者フォーラムに報告された実世界の欠陥において、CADET が提案した修復は、専門家が提供した解決策よりも14%効果的であり、30分未満で完了した。
• 因果パス分析を通じてスワップメモリを混同変数として同定することで、GPUメモリの増加とレイテンシの間の誤った相関関係（誤った相関）を正しく逆転させた。