[論文レビュー] Unicorn: Reasoning about Configurable System Performance through the lens of Causality

Md Shahriar Iqbal, Rahul Krishna+3 more|arXiv (Cornell University)|Jan 20, 2022

Software System Performance and Reliability被引用数 4

ひとこと要約

Unicornは、ソフトウェare-ハードウェア構成の間の複雑な相互作用を捉えることで、従来の機械学習モデルの限界を克服し、高設定可能なシステムにおけるパフォーマンスのモデリングと推論に因果推論に基づく手法を提案する。因果構造学習と反事後的推論を用いて、未確認の環境でも信頼性高く動作を予測できる。性能デバッグおよび最適化において最先端の手法を上回る。

ABSTRACT

Modern computer systems are highly configurable, with the total variability space sometimes larger than the number of atoms in the universe. Understanding and reasoning about the performance behavior of highly configurable systems, over a vast and variable space, is challenging. State-of-the-art methods for performance modeling and analyses rely on predictive machine learning models, therefore, they become (i) unreliable in unseen environments (e.g., different hardware, workloads), and (ii) may produce incorrect explanations. To tackle this, we propose a new method, called Unicorn, which (i) captures intricate interactions between configuration options across the software-hardware stack and (ii) describes how such interactions can impact performance variations via causal inference. We evaluated Unicorn on six highly configurable systems, including three on-device machine learning systems, a video encoder, a database management system, and a data analytics pipeline. The experimental results indicate that Unicorn outperforms state-of-the-art performance debugging and optimization methods in finding effective repairs for performance faults and finding configurations with near-optimal performance. Further, unlike the existing methods, the learned causal performance models reliably predict performance for new environments.

研究の動機と目的

• 膨大で組み合わせ的な構成空間を有する高設定可能なシステムにおけるパフォーマンスの推論という課題に対処すること。
• 相関に基づく推論による誤った説明と未確認の環境での信頼性の欠如により、既存の機械学習ベースのパフォーマンスモデルに起因する限界を克服すること。
• 構成オプションとシステム動作の間の因果的相互作用をモデリングすることで、正確なパフォーマンスデバッグおよび最適化を可能にすること。
• 因果構造回復を用いて、構成の修正やチューニングのための信頼性のある反事後的推論を支援すること。
• 因果効果推定を通じて高影響度の構成変更を同定することで、試行錯誤に依存するのを減らすこと。

提案手法

• Unicornは、因果発見技術を用いてパフォーマンスデータから背後にある因果構造を回復し、ソフトウェアおよびハードウェア構成オプション間の相互作用をモデリングする。
• 平均因果効果（ACE）を推定するために、$\mathbb{E}[Z~{}|~{}\mathit{do}(X=x)]$ などのdo記法を適用する。
• 遅延およびエネルギーに与える平均因果効果に基づいて、構成オプションから非機能的特性への因果的パス（有向パス）を順位付けする。
• 情報量の増加を最大化するために、因果効果の推定値が高いための構成を段階的に選択するアクティブラーニングを用いる。
• パフォーマンス指標から根本の構成ノードへバックトラッキングすることで因果パスを抽出し、故障診断に向けた高影響度の経路に焦点を当てる。
• 反事後的推論を統合して「もし～なら」シナリオをシミュレートし、パフォーマンス障害の効果的修復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 相関に基づく機械学習モデルと比較して、因果推論は高設定可能なシステムにおけるパフォーマンス予測を改善できるか？
• RQ2 因果モデルは、多様な構成においてパフォーマンス劣化の根本原因をどれほど効果的に特定できるか？
• RQ3 Unicornは、未確認のハードウェアおよびワークロード環境にどの程度一般化できるか？
• RQ4 因果パス順位付けとアクティブラーニングは、パフォーマンスデバッグおよび最適化をどの程度加速できるか？
• RQ5 最先端の手法と比較して、Unicornは近似的最適な構成を特定し、パフォーマンス障害を修復する上で優れているか？

主な発見

• Unicornは、オンデバイスMLシステムやデータベースを含む6つの実世界システムにおいて、パフォーマンス障害の有効な修復を同定する点で最先端の手法を上回った。
• Jetson TX2で発生した実際のパフォーマンス問題において、因果パス分析により根本原因を特定した結果、解決時間は2日から22分に短縮された。
• 因果モデルにより、デフォルト設定よりも7倍の遅延の高速化が達成され、最適設定を用いることでベースライン比で5.75倍の改善が得られた。
• Unicornは、分布シフトにさらされても信頼性高く新しい環境におけるパフォーマンスを予測できたが、相関に基づくモデルはそれらで失敗した。
• CUDA_STATICおよびvm.swappinessの最適値を同定することで、キャッシュミスを55％削減し、システム安定性を1％向上させた。
• 因果パス順位付けにより、効率的な故障局所化が可能となり、上位順位のパスがスループットおよびエネルギー消費量の分散の55％を説明した。