[論文レビュー] DeepMutation: Mutation Testing of Deep Learning Systems

Lei Ma, Fuyuan Zhang+9 more|arXiv (Cornell University)|May 14, 2018

Software Testing and Debugging Techniques被引用数 29

ひとこと要約

この論文では、深層学習システムのテストデータ品質を、訓練データ、訓練プログラム、および学習済みモデルに特化した変異演算子を用いて故障を注入することで評価する、DeepMutationと呼ばれる変異テストフレームワークを提案する。このフレームワークは、高い変異体検出率がテストセットの品質に相関することを示しており、MNISTおよびCIFAR-10データセットにおける複数のモデルを対象として、深層学習システムの頑健性と信頼性の向上に有望であることを示している。

ABSTRACT

Deep learning (DL) defines a new data-driven programming paradigm where the internal system logic is largely shaped by the training data. The standard way of evaluating DL models is to examine their performance on a test dataset. The quality of the test dataset is of great importance to gain confidence of the trained models. Using an inadequate test dataset, DL models that have achieved high test accuracy may still lack generality and robustness. In traditional software testing, mutation testing is a well-established technique for quality evaluation of test suites, which analyzes to what extent a test suite detects the injected faults. However, due to the fundamental difference between traditional software and deep learning-based software, traditional mutation testing techniques cannot be directly applied to DL systems. In this paper, we propose a mutation testing framework specialized for DL systems to measure the quality of test data. To do this, by sharing the same spirit of mutation testing in traditional software, we first define a set of source-level mutation operators to inject faults to the source of DL (i.e., training data and training programs). Then we design a set of model-level mutation operators that directly inject faults into DL models without a training process. Eventually, the quality of test data could be evaluated from the analysis on to what extent the injected faults could be detected. The usefulness of the proposed mutation testing techniques is demonstrated on two public datasets, namely MNIST and CIFAR-10, with three DL models.

研究の動機と目的

• 深層学習システムにおけるテストデータ品質のための体系的で評価技術の不足に対処すること。
• 高い精度を示してもモデルの脆弱性をすり抜ける可能性のあるテストセットの深刻な欠陥を特定すること。
• 従来のソフトウェアで長年にわたり確立された変異テストを、深層学習システムの独自の特性に適応させること。
• 訓練データ、訓練コード、および学習済みモデルにおける現実的な故障を模倣する変異演算子の設計と検証すること。
• モデルレベルの故障を検出するための、スケーラブルで効果的なテストセットの有効性を測定するフレームワークを提供すること。

提案手法

• 訓練データおよび訓練プログラムを標的とする8種類のソースレベルの変異演算子を提案し、データ収集および実装における現実の欠陥を模倣する。
• 再トレーニングを伴わずにモデル重みや構造を直接変更する8種類のモデルレベルの変異演算子を設計し、迅速な変異体生成を可能にする。
• 標準的な変異テストメトリクス（例えば、変異体殺傷率や変異スコア）を適用して、テストセットの有効性を評価する。
• 各変異体モデルをテストセットに対して実行し、元のモデルとの出力差を比較して挙動の違いを検出する。
• 出力の不一致の検出を、テストセットが故障を特定する能力の証拠として用いる。
• ソースレベルとモデルレベルの変異を組み合わせたハイブリッドアプローチを採用し、多様な故障タイプをカバーし、テストカバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 変異テストは、深層学習システムの訓練データおよび訓練プログラムに注入された故障をどの程度検出できるか？
• RQ2 再トレーニングを伴わずに、モデルレベルの変異演算子はテストセットの欠陥をどの程度効果的に明らかにできるか？
• RQ3 変異体検出率は、深層学習におけるテストデータ品質を評価するための信頼できる指標として機能するか？
• RQ4 異なる変異演算子は、モデルの脆弱性をどの程度効果的に露呈できるか？
• RQ5 提案されたフレームワークは、高い精度のベンチマークが見逃す可能性のあるテストセットの欠陥を特定できるか？

主な発見

• 提案されたソースレベルの変異演算子は、訓練データおよびプログラムに現実的な故障を効果的に注入でき、一般的なデータおよびコーディングエラーを模倣した。
• モデルレベルの変異演算子により、大規模な変異体セットの効率的生成が可能となり、ソースレベルの変異が見逃す可能性のある微細なモデルレベルの問題を明らかにした。
• MNISTおよびCIFAR-10において、高い変異体殺傷率を示すテストセットは、精度が高くても優れた頑健性と一般化性能を示した。
• 変異スコア指標はテストセットの品質と強く相関しており、テストデータ評価の定量的指標としての可能性を示した。
• フレームワークは、わずかな摂動にさらされると、高い精度を示すモデルであっても依然として脆弱であることが判明し、テストセットの限界を浮き彫りにした。
• 評価により、変異テストが深層学習システムにおけるテストデータ品質の評価に実用的で効果的な技術であることが確認された。