[論文レビュー] Repairing Deep Neural Networks: Fix Patterns and Challenges

Johirul Islam, Rangeet Pan+2 more|arXiv (Cornell University)|May 3, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 7

ひとこと要約

本稿は、Caffe、Keras、TensorFlow、Theano、Torchの5つのDNNライブラリを対象とし、Stack OverflowおよびGitHubから抽出した667件の（バグ、修復）インスタンスを用いて、深層ニューラルネットワーク（DNN）バグ修復パターンの包括的かつ詳細な分析を実施している。本研究では、特にデータ次元や接続性の修正が顕著な修復パターンを同定し、敵対的脆弱性や新たなバグといったリスクを強調するとともに、バグの特定、モデルの再利用、急速なライブラリリリースといった主な課題を明らかにした。本研究は、今後の自動修復研究の基盤となる、公開可能なベンチマークを提供している。

ABSTRACT

Significant interest in applying Deep Neural Network (DNN) has fueled the need to support engineering of software that uses DNNs. Repairing software that uses DNNs is one such unmistakable SE need where automated tools could be beneficial; however, we do not fully understand challenges to repairing and patterns that are utilized when manually repairing DNNs. What challenges should automated repair tools address? What are the repair patterns whose automation could help developers? Which repair patterns should be assigned a higher priority for building automated bug repair tools? This work presents a comprehensive study of bug fix patterns to address these questions. We have studied 415 repairs from Stack overflow and 555 repairs from Github for five popular deep learning libraries Caffe, Keras, Tensorflow, Theano, and Torch to understand challenges in repairs and bug repair patterns. Our key findings reveal that DNN bug fix patterns are distinctive compared to traditional bug fix patterns; the most common bug fix patterns are fixing data dimension and neural network connectivity; DNN bug fixes have the potential to introduce adversarial vulnerabilities; DNN bug fixes frequently introduce new bugs; and DNN bug localization, reuse of trained model, and coping with frequent releases are major challenges faced by developers when fixing bugs. We also contribute a benchmark of 667 DNN (bug, repair) instances.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）ソフトウェアにおけるバグを手動で修復する際に用いられる一般的なパターンを理解すること。
• バグの特定、モデルの再利用、頻繁なライブラリ更新といった要因によって、DNNバグを修復する際に開発者が直面する主な課題を同定すること。
• DNNバグ修復が、特に敵対的脆弱性を含め、新たな脆弱性やレグレッションを引き起こすかどうかを評価すること。
• 高優先度の修復パターンと構造的課題を特定することで、自動DNN修復ツールの設計を支援すること。
• 今後のDNNソフトウェア工学分野の研究を支援するため、667件の（バグ、修復）インスタンスを含む公開可能なベンチマークを提供すること。

提案手法

• Caffe、Keras、TensorFlow、Theano、Torchの5つの主要DNNライブラリを対象に、Stack Overflowから415件、GitHubから555件のDNNバグレポートを収集した。
• Stack Overflowの採択済み回答および高スコアの回答から320件の修復スニペットを選定・分析し、GitHubのバグ修正コミットから347件を選定・分析した。
• 反復的コーディングと検証を経て開発した独自の分類体系を用い、オープンコーディング手法を適用して、手動で修復パターンをラベル付け・分類した。
• バグの種別、ライブラリ、修復パターンごとの比較分析を実施し、繰り返し現れるテーマや相違点を同定した。
• 修復の安全性を評価するため、修復が新たなバグや敵対的脆弱性を引き起こしたかどうかを分析した。
• 再現性と今後のツール開発を目的として、667件の（バグ、修復）ペアを含む公開ベンチマークをリリースした。

実験結果

リサーチクエスチョン

• RQ1 RQ1: DNNソフトウェアにおけるバグ修復の最も一般的なパターンは何ですか？
• RQ2 RQ2: DNNバグの種別によって、異なる修復パターンが要請されるでしょうか？
• RQ3 RQ3: 異なるDNNライブラリ間で、修復パターンは一貫していますか？
• RQ4 RQ4: DNNバグの修復は、新たなバグや敵対的脆弱性を引き起こしますか？
• RQ5 RQ5: DNNバグを修復する際、開発者が直面する主な課題は何ですか？

主な発見

• DNNバグ修復の最も一般的なパターンは、データ次元の不一致の修正およびニューラルネットワークの接続性の問題（接続されていない、または欠落している層）の修正である。
• DNNバグ修復パターンは、従来のソフトウェアバグ修復とは顕著に異なり、構造的およびデータ関連の問題が支配的である。
• DNN修復の顕著な割合が新たなバグを引き起こしており、修復過程でのレグレッションリスクが非常に高いことを示している。
• DNNの修復は、入力次元やモデルアーキテクチャを変更する際、特に敵対的脆弱性を引き起こす可能性がある。
• 主な課題には、DNNバグの特定の困難さ、動作のメカニズムが不明なための訓練済みモデルの再利用性の低さ、そして急速なライブラリリリースに対応する困難さが含まれる。
• 本研究は、667件の（バグ、修復）インスタンスを含む公開可能なベンチマークを提供しており、今後の自動修復研究やツール開発を支援する。