[論文レビュー] An Effective Data-Driven Approach for Localizing Deep Learning Faults

Mohammad Wardat, Breno Dantas Cruz+2 more|arXiv (Cornell University)|Jul 18, 2023

Software Engineering Research被引用数 5

ひとこと要約

本稿では、DNN学習中に抽出された動的および静的特徴に基づくLSTM学習を用いたデータ駆動型アプローチ、Deep4Deepを提案する。この手法は、複数の種類のディープラーニング障害を自動的に局所化可能であり、変種モデルにおいて先行研究を上回る高い正確性、精度、再現率を達成するとともに、実世界のモデルにおいても同等の性能を示す。これにより、手動でのルール設計を伴わず、スケーラブルかつ自動的な障害原因診断が可能となる。

ABSTRACT

Deep Learning (DL) applications are being used to solve problems in critical domains (e.g., autonomous driving or medical diagnosis systems). Thus, developers need to debug their systems to ensure that the expected behavior is delivered. However, it is hard and expensive to debug DNNs. When the failure symptoms or unsatisfied accuracies are reported after training, we lose the traceability as to which part of the DNN program is responsible for the failure. Even worse, sometimes, a deep learning program has different types of bugs. To address the challenges of debugging DNN models, we propose a novel data-driven approach that leverages model features to learn problem patterns. Our approach extracts these features, which represent semantic information of faults during DNN training. Our technique uses these features as a training dataset to learn and infer DNN fault patterns. Also, our methodology automatically links bug symptoms to their root causes, without the need for manually crafted mappings, so that developers can take the necessary steps to fix faults. We evaluate our approach using real-world and mutated models. Our results demonstrate that our technique can effectively detect and diagnose different bug types. Finally, our technique achieved better accuracy, precision, and recall than prior work for mutated models. Also, our approach achieved comparable results for real-world models in terms of accuracy and performance to the state-of-the-art.

研究の動機と目的

• トレーニング中に多様な症状と原因を有する複数の障害タイプが共存する状況において、ディープニューラルネットワーク（DNN）のデバッグを効果的に行うことを目的とする。
• 障害パターンのデータ駆動型学習により、手作業によるルール設計を置き換えることで、障害局所化に必要な人的作業を低減することを目的とする。
• さまざまなアーキテクチャおよび新規のバグタイプに対応できる、自動的かつスケーラブルで拡張可能なDNN障害の局所化を実現することを目的とする。
• モデル動作からの意味的特徴を用いて、観察されたトレーニング症状を直接その原因に結びつけることで、デバッグの効率を向上させることを目的とする。
• 将来的な自動修復のサポートを図るために、正確な障害局所化を提供することを目的とする。

提案手法

• 各トレーニングタイムスタンプにおいて、モデルパラメータ（重み、勾配、メトリクス）から動的特徴を抽出し、トレーニング中の動作パターンを捉える。
• ONNX形式のモデルのソースコードから静的特徴を抽出し、構造的および文法的情報を表すトークンベクトルを含む。
• 動的特徴と静的特徴を統合して、DNNの実行時動作と構造的意味を同時に捉える統一された表現を構築する。
• 組み合わせた特徴セット上でLSTMモデルを学習させ、障害の症状と原因の間の複雑な非線形関係を学習する。
• 学習済みのLSTMモデルを用いて、観察されたトレーニングダイナミクスに基づき障害タイプを予測・局所化し、自動診断を可能にする。
• 新しいバグタイプを含む新規データセットでの微調整により、モデルの拡張性を確保し、新たな障害に適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型アプローチは、先行研究の単一バグタイプに限った手法を超えて、複数のDNN障害タイプを同時に効果的に検出・局所化できるか？
• RQ2 動的および静的特徴に基づくLSTMモデルは、手動でのルール指定なしに、障害の症状をその原因にマッピングする能力を十分に学習できるか？
• RQ3 本手法は、実世界モデルおよび変種モデルの両方において、既存の障害局所化手法と比較して、正確性、精度、再現率の観点でどの程度優れているか？
• RQ4 微調整により、新たなバグタイプの対応が可能となり、長期的なスケーラビリティを確保できるか？
• RQ5 動的特徴と静的特徴の統合は、単独で使用する場合と比較して、障害局所化のパフォーマンスをどの程度向上させるか？

主な発見

• Deep4Deepは、変種モデルにおいて先行研究（DeepLocalizeおよびUMLAUT）を上回る高い精度、再現率、F1スコアを達成し、多様な障害タイプの検出能力の優位性を示した。
• 実世界のモデルにおいて、Deep4Deepは最先端技術と同等の正確性とパフォーマンスを達成した。これは、実用的環境下での有効性を裏付けるものである。
• 動的特徴と静的特徴の統合により、動作的および構造的意味的情報を捉えることができ、障害局所化の正確性が顕著に向上した。
• LSTMベースのモデルは、障害の症状と原因の間の複雑な非線形マッピングを効果的に学習でき、手動でのルール設計なしに正確な診断を可能にした。
• 本手法は拡張性を有する：新規バグタイプのデータセットでの微調整により、モデルは新たな障害に適応可能であり、長期的な保守性を確保できる。
• Deep4Deepは、1つのモデルに複数の障害を同時に局所化できる。これにより、従来の手法が1度に1つの障害タイプに限定されていた制限を克服した。