[論文レビュー] DeepDiagnosis: Automatically Diagnosing Faults and Recommending Actionable Fixes in Deep Learning Programs

Mohammad Wardat, Breno Dantas Cruz+2 more|arXiv (Cornell University)|Dec 7, 2021

Software Engineering Research被引用数 7

ひとこと要約

DeepDiagnosis は、トレーニング中に主要なエラーサインをモニタリングすることで、深層学習モデルにおける8種類の構造的バグを自動的に検出・局所化・診断する動的解析フレームワークです。数値的エラー以外の症状を検出でき、即効性のある修正策を提案する点で、UMLUAT や DeepLocalize といった最先端のツールを上回ります。精度と効率性に優れ、より広範なモデル対応と数値的でない症状検出を実現しています。

ABSTRACT

Deep Neural Networks (DNNs) are used in a wide variety of applications. However, as in any software application, DNN-based apps are afflicted with bugs. Previous work observed that DNN bug fix patterns are different from traditional bug fix patterns. Furthermore, those buggy models are non-trivial to diagnose and fix due to inexplicit errors with several options to fix them. To support developers in locating and fixing bugs, we propose DeepDiagnosis, a novel debugging approach that localizes the faults, reports error symptoms and suggests fixes for DNN programs. In the first phase, our technique monitors a training model, periodically checking for eight types of error conditions. Then, in case of problems, it reports messages containing sufficient information to perform actionable repairs to the model. In the evaluation, we thoroughly examine 444 models -53 real-world from GitHub and Stack Overflow, and 391 curated by AUTOTRAINER. DeepDiagnosis provides superior accuracy when compared to UMLUAT and DeepLocalize. Our technique is faster than AUTOTRAINER for fault localization. The results show that our approach can support additional types of models, while state-of-the-art was only able to handle classification ones. Our technique was able to report bugs that do not manifest as numerical errors during training. Also, it can provide actionable insights for fix whereas DeepLocalize can only report faults that lead to numerical errors during training. DeepDiagnosis manifests the best capabilities of fault detection, bug localization, and symptoms identification when compared to other approaches.

研究の動機と目的

• トレーニング中に数値的エラーとして現れない構造的バグを診断する課題に対処すること。
• 数値的異常を超えた複数のエラーサインを検出できる動的解析手法を開発すること。
• 診断済みの障害に対して、人間が理解できる修正策を提供することで、非専門家のデバッグ作業を軽減すること。
• 分類モデルに限らない広範な DNN アーキテクチャをサポートすること。これに対して、従来の最先端ツールは分類モデルに限定されていた。
• 将来のバグ局所化およびデバッグツールの評価を可能にするために、444 個の実際のバグありモデルとその解決策を含む公開ベンチマークを構築すること。

提案手法

• DeepDiagnosis は DNN のトレーニング中に動的モニタリングを実行し、8 種類の事前に定義されたエラーサインを定期的にチェックする。
• 中間層の出力とトレーニングメトリクスを分析して、勾配消失、勾配爆発、重みの変化なしといったサインを検出する。
• ルールベースのシステムと意思決定ツリーを用いて、検出されたサインを原因にマッピングし、解決策の探索空間を縮小する。
• 開発者が理解しやすい診断メッセージを生成し、原因分析と即効性のある修正策を含める。
• ディープラーニングフレームワーク用のプラグインとして実装されており、モデルの再トレーニングを必要とせず、トレーニングループに統合可能。
• 分類モデルだけでなく、非分類モデルもサポートしており、AUTOTRAINER らの従来ツールが分類モデルに限定されていたのとは異なり、範囲を拡大している。

実験結果

リサーチクエスチョン

• RQ1 数値的エラーを引き起こさない構造的バグを、動的解析アプローチで DNN で検出可能か？
• RQ2 UMLUAT や DeepLocalize といった最先端ツールと比較して、DeepDiagnosis は故障局所化においてどの程度効果的か？
• RQ3 DeepDiagnosis は診断済みの障害に対して即効性のある修正策を提案できるか？ また、AUTOTRAINER といった自動修復ツールと比較して、その提案品質はどの程度か？
• RQ4 DeepDiagnosis は分類モデルに限らないさまざまな DNN アーキテクチャにどの程度一般化可能か？
• RQ5 故障局所化およびサイン検出において、AUTOTRAINER と比較して DeepDiagnosis のパフォーマンスと効率性はどの程度か？

主な発見

• DeepDiagnosis は 444 個のモデルからなるデータセットにおいて、UMLUAT や DeepLocalize よりも優れた故障局所化精度を達成した。
• 故障局所化の速度において AUTOTRAINER を上回りながらも、より高い診断精度を維持した。
• 従来のツールが見逃していた非数値的サイン、たとえば重みの変化なしや精度の停滞といった現象を、DeepDiagnosis は正常に検出できた。
• 学習率やオプティマイザの誤設定を含む、8 種類の異なる構造的バグに対して、即効性のある修正策を提供できた。
• 最先端ツールが分類モデルに限定されていたのに対し、DeepDiagnosis はより広範なモデル互換性を示し、非分類モデルもサポートした。
• 著者らは、444 個のバグありモデルとその解決策を含む公開ベンチマークをリリースし、将来のデバッグツールの再現可能評価を可能にした。