[論文レビュー] Black-Box Testing of Deep Neural Networks Through Test Case Diversity

Zohreh Aghababaeyan, Manel Abdellatif+3 more|arXiv (Cornell University)|Dec 20, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、モデルの内部構造や学習データにアクセスせずに、深層ニューラルネットワーク（DNN）のテストをガイドするブラックボックスで入力レベルの指標として、幾何的多様性を提案する。幾何的多様性が、故障検出能力の予測において最先端のホワイトボックス型カバレッジ基準を上回り、計算コストも低減されることを示しており、画像ベースのDNNにおけるテスト適切性の代替指標として、より効果的かつ実用的であることが明らかになった。

ABSTRACT

Deep Neural Networks (DNNs) have been extensively used in many areas including image processing, medical diagnostics, and autonomous driving. However, DNNs can exhibit erroneous behaviours that may lead to critical errors, especially when used in safety-critical systems. Inspired by testing techniques for traditional software systems, researchers have proposed neuron coverage criteria, as an analogy to source code coverage, to guide the testing of DNN models. Despite very active research on DNN coverage, several recent studies have questioned the usefulness of such criteria in guiding DNN testing. Further, from a practical standpoint, these criteria are white-box as they require access to the internals or training data of DNN models, which is in many contexts not feasible or convenient. In this paper, we investigate black-box input diversity metrics as an alternative to white-box coverage criteria. To this end, we first select and adapt three diversity metrics and study, in a controlled manner, their capacity to measure actual diversity in input sets. We then analyse their statistical association with fault detection using four datasets and five DNN models. We further compare diversity with state-of-the-art white-box coverage criteria. Our experiments show that relying on the diversity of image features embedded in test input sets is a more reliable indicator than coverage criteria to effectively guide the testing of DNNs. Indeed, we found that one of our selected black-box diversity metrics far outperforms existing coverage criteria in terms of fault-revealing capability and computational time. Results also confirm the suspicions that state-of-the-art coverage metrics are not adequate to guide the construction of test input sets to detect as many faults as possible with natural inputs.

研究の動機と目的

• 自然入力を用いた故障検出との相関が弱く、モデルの内部構造を必要とするホワイトボックス型カバレッジ基準の限界を是正すること。
• DNNの実行や出力の分析を一切行わず、入力データの多様性にのみ依存するブラックボックス型テスト手法を構築すること。
• 入力多様性指標が、DNNにおける故障検出能力の信頼できる代替指標として機能するかどうかを評価すること。
• 故障検出能力と計算効率の観点から、多様性指標と最先端のカバレッジ基準の性能を比較すること。
• 類似した障害パターンに起因する重複した誤予測を考慮したクラスタリングに基づく故障検出の推定手法を提案すること。

提案手法

• 画像ベースのDNNテストセットに対して、幾何的多様性、特徴ベース多様性、NCDベース多様性という3つの入力多様性指標を適応・評価した。
• 4つのデータセットと5つの事前学習済みDNNモデルを用いた制御された実験設定により、多様性と故障検出の関係を評価した。
• 類似した誤予測をグループ化することで、重複した故障の過剰カウントを低減するため、クラスタリングに基づく故障推定技術を提案した。
• 複数のDNNアーキテクチャとデータセットにおいて、多様性指標と故障検出率との間の統計的関連性を測定した。
• 最良の多様性指標が、最先端のカバレッジ基準（例：ニューロンカバレッジ）と比較して、故障検出の相関性と実行時間の両面で優れているかを検証した。
• 公平な比較のため、先行研究の結果を再現して、既存のカバレッジベース手法と比較した。

実験結果

リサーチクエスチョン

• RQ1 モデルの内部構造を必要とせず、自然入力を用いたDNNにおける故障検出の代替指標として、ブラックボックス型入力多様性指標が有効に機能するか。
• RQ2 自然テスト入力を用いた故障検出を予測する際、幾何的多様性は最先端のホワイトボックス型カバレッジ基準と比べてどのように優れているか。
• RQ3 入力多様性は実際に故障検出とどの程度相関しているか。計算効率においても、カバレッジを上回っているか。
• RQ4 類似した障害パターンに起因する重複した誤予測を同定することで、クラスタリングに基づくアプローチが故障推定を改善できるか。
• RQ5 入力多様性とDNNテストスイートで検出された異なる障害の数との間に有意な統計的関連性があるか。

主な発見

• 幾何的多様性が、最も効果的なブラックボックス型多様性指標として浮上し、既存のホワイトボックス型カバレッジ基準を著しく上回る故障検出能力の予測性能を示した。
• 最良の多様性指標は、すべてのデータセットとモデルにおいて、評価されたカバレッジ基準よりも故障検出との統計的相関が強く、優れていた。
• 幾何的多様性は、カバレッジベース手法と比較して、著しく低い計算コストで高い故障検出能力を達成した。
• 本研究では、最先端のカバレッジ基準が、自然入力を用いた効果的な故障検出のためのテスト入力選定に限界を示すことが確認された。
• クラスタリングに基づく故障推定手法は、類似した誤予測を同定することで、故障の過剰カウントを効果的に低減し、故障検出測定の正確性を向上させた。
• 結果から、特に幾何的多様性を含む入力多様性は、実世界のシナリオにおけるブラックボックス型DNNテストにおいて、カバレッジよりも信頼性が高く実用的であると示唆された。