[論文レビュー] Search Based Repair of Deep Neural Networks.

Jeongju Sohn, Sungmin Kang+1 more|arXiv (Cornell University)|Dec 28, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 23

ひとこと要約

本論文は、感度に基づく故障局所化と粒子群最適化（PSO）を用いて、誤分類を是正するための少数のニューラルウェイトの変更に限定する、深層ニューラルネットワーク（DNN）の検索ベース修復手法Arachneを提案する。追加の訓練データを必要とせず、再訓練よりもより的を射たパッチを生成する。CIFAR-10分類器における最も一般的な誤分類タイプを27.5％削減する。

ABSTRACT

Deep Neural Networks (DNNs) are being adopted in various domains, including safety critical ones. The wide-spread adoption also calls for ways to guide the testing of their accuracy and robustness, for which various test adequacy criteria and input generation methods have been recently introduced. In this paper, we explore the natural subsequent step: given an input that reveals unexpected behaviour in a trained DNN, we propose to repair the DNN using input-output pairs as a specification. This paper introduces Arachne, a novel program repair technique for DNNs. Arachne first performs sensitivity based fault localisation to limit the number of neural weights it has to modify. Subsequently, Arachne uses Particle Swarm Optimisation (PSO) to directly optimise the localised neural weights until the behaviour is corrected. An empirical study using three different benchmark datasets shows that Arachne can reduce the instances of the most frequent misclassification type committed by a pre-trained CIFAR-10 classifier by 27.5%, without any need for additional training data. Patches generated by Arachne tend to be more focused on the targeted misbehaviour than DNN retraining, which is more disruptive to non-targeted behaviour. The overall results suggest the feasibility of patching DNNs using Arachne until they can be retrained properly.

研究の動機と目的

• 誤分類が検出された後のDNNの修復のための体系的でない方法の欠如に対処すること。
• 完全な再訓練を避けるために、入力出力ペアを仕様として用いてDNNの挙動を是正する手法を開発すること。
• 非標的行動への影響を最小限に抑えるために、最も感度の高いウェイトに限定して修復すること。
• 検索ベースの修復の実現可能性と有効性が、DNNの堅牢性と正確性の向上に寄与するかどうかを評価すること。

提案手法

• Arachneは、誤分類に寄与する最も影響力のあるウェイトを特定する感度に基づく故障局所化から開始する。
• 次に、局所化されたウェイトのみを直接最適化するために粒子群最適化（PSO）を適用する。
• 修復プロセスは、最適化が正しい出力に向かって誘導されるように、入力出力ペアを仕様として使用する。
• PSOは反復的に選択されたウェイトを調整し、予測出力と期待される出力との間の損失を最小化する。
• 全ネットワークの再訓練を回避することで、非標的入力における元のモデルの挙動を保持する。
• 本手法は、CIFAR-10を含む3つのベンチマークデータセット上で評価され、修復の有効性と特異性を検証する。

実験結果

リサーチクエスチョン

• RQ1 入力出力ペアを仕様として用いることで、検索ベースのアプローチがDNNを効果的に修復できるか。
• RQ2 Arachneの修復品質は、標的誤分類の低減という観点で、完全な再訓練と比べてどうか。
• RQ3 Arachneは非標的入力への意図しない副作用をどの程度最小限に抑えられるか。
• RQ4 感度に基づく故障局所化は、修復のための探索空間をどの程度縮小できるか。

主な発見

• Arachneは、事前に訓練されたCIFAR-10分類器における最も一般的な誤分類タイプを27.5％削減した。
• Arachneが生成したパッチは、完全な再訓練よりも標的誤動作の修正にのみ焦点を当てていた。
• Arachneは追加の訓練データを一切必要としなかった。
• Arachneは非標的入力における元のモデルの挙動を再訓練よりも効果的に保持した。
• 感度に基づく故障局所化は、修正が必要なウェイトの数を著しく絞り込み、効率性を向上させた。