[論文レビュー] Debugging Crashes using Continuous Contrast Set Mining

Rebecca Qian, Yang Yu+4 more|arXiv (Cornell University)|Nov 12, 2019

Network Security and Intrusion Detection参考文献 13被引用数 4

ひとこと要約

本稿では、離散化を経由せずに連続的・混合データ特徴を直接分析することで、ソフトウェアクラッシュのデバッグを改善する新しい手法であるContinuous Contrast Set Mining (CCSM) を提案する。重み付き異常スコアと不確実性評価を導入することで解釈可能性とスケーラビリティを向上させ、Facebookにおける実際のクラッシュトライエージにおいて、離散化ベースのベースラインと比較して40倍の高速化を達成した。

ABSTRACT

Facebook operates a family of services used by over two billion people daily on a huge variety of mobile devices. Many devices are configured to upload crash reports should the app crash for any reason. Engineers monitor and triage millions of crash reports logged each day to check for bugs, regressions, and any other quality problems. Debugging groups of crashes is a manually intensive process that requires deep domain expertise and close inspection of traces and code, often under time constraints. We use contrast set mining, a form of discriminative pattern mining, to learn what distinguishes one group of crashes from another. Prior works focus on discretization to apply contrast mining to continuous data. We propose the first direct application of contrast learning to continuous data, without the need for discretization. We also define a weighted anomaly score that unifies continuous and categorical contrast sets while mitigating bias, as well as uncertainty measures that communicate confidence to developers. We demonstrate the value of our novel statistical improvements by applying it on a challenging dataset from Facebook production logs, where we achieve 40x speedup over baseline approaches using discretization.

研究の動機と目的

• 毎日何百万件ものクラッシュレポートが発生する大規模なプロダクションシステムにおける、人的作業が重いクラッシュトライエージの課題に対処すること。
• 離散化を必要とせず、特に連続変数を含む混合データタイプに対して効果的な対照セットマイニングを可能にすること。離散化は分布を歪め、解釈性を低下させるため。
• 重み付き異常スコアと不確実性推定値を組み合わせることで、カテゴリカルおよび連続的対照セットを統合し、開発者の洞察を向上させること。
• モバイルアプリケーションのクラッシュログで見られるような、数千の特徴量を持つ高次元データセットに対してもスケーラブルな対照セットマイニングを実現すること。
• 従来のログ記録が存在しない実際のiOS Out-of-Memoryクラッシュデータに対して、本手法の有効性を示すこと。

提案手法

• 連続的データへの対照セットマイニングの直接適用を提案。離散化を回避し、連続値に対してパラメトリックな統計的検定（例：t検定、一元配置分散分析）を用いて特徴量の分布をモデル化する。
• 効果量（Cohenのd）と統計的有意性を組み合わせた重み付き異常スコアを導入。意味のある対照セットを優先し、まれなまたはノイズの多い特徴量によるバイアスを低減する。
• 信頼区間から導出される不確実性評価を用い、検出された対照セットに対する開発者の信頼度を明示することで、信頼性と使いやすさを向上させる。
• TF-IDFベクトル化を用いてユーザーのナビゲーションイベントシーケンスを連続的埋め込みに変換。これにより、高次元の行動ログの扱いやすさが向上する。
• 一元配置分散分析と2標本t検定を用い、クラッシュ群と一般集団との間で連続的特徴量の分布に顕著な乖離が生じるかを検出する。
• 再帰的分割戦略を採用し、特徴量サブセットを探索して高影響度の対照セットを同定。最小グループサイズと効果量の閾値に基づくプルーニングヒューリスティクスを実装。

実験結果

リサーチクエスチョン

• RQ1 離散化を経由せずに、連続的特徴量に対照セットマイニングを効果的に適用できるか。分布の忠実性と解釈可能性が保たれるか。
• RQ2 カテゴリカルおよび連続的特徴量の両方に対して、異常スコアを統合的に扱う方法は何か。これにより包括的なクラッシュ分析が可能になるか。
• RQ3 不確実性の定量化は、クラッシュトライエージにおける開発者の信頼と意思決定にどのような影響を与えるか。
• RQ4 連続的対照セットマイニングは、従来の手法では見逃されがちな、微妙だが高影響度の根本要因（例：ビルド固有のメモリ問題）を検出できるか。
• RQ5 実世界の高次元クラッシュデータセットにおいて、連続的対照セットマイニングは離散化ベースのアプローチと比較して、性能に優れているか。

主な発見

• CCSMは、Facebookの本番クラッシュログに適用した際、離散化ベースのベースライン手法と比較して40倍の高速化を達成した。
• 本手法は、56％の予想より高いクラッシュ発生率を示す重要なx86ビルド問題を正常に同定した。これは、小規模なデバイスグループでは信号が弱く、従来の手法では検出されなかった。
• 開発者らは、ネットワーク状態の悪化を示す対照セットが非常に実用的であると報告。連続的特徴量分析が意味のある診断インサイトを提供していることが裏付けられた。
• 重み付き異常スコアは、まれなパターンや低証拠パターンに起因するノイズを低減しながらも、微細だが重要な乖離を保持する感度を効果的に維持した。
• 不確実性推定値は、開発者が結果の信頼性を評価するのを助け、誤検出を低減し、トライエージ意思決定における信頼を高めた。
• 数千の特徴量を持つデータセットに対しても、本手法は強力なスケーラビリティを示した。離散化では失敗するが、性能と解釈可能性を両立させた。