[論文レビュー] Evaluating the Robustness of Test Selection Methods for Deep Neural Networks

Qiang Hu, Yuejun Guo+5 more|arXiv (Cornell University)|Jul 29, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

この論文は、深層ニューラルネットワークの11種類のテスト選択手法のロバスト性を評価し、敵対的テストデータ下での故障検出および性能推定手法における深刻な失敗を特定している。モデルの不確実性や中間層出力に依存する手法は著しく失敗し、テストカバレッジが最大86.85%まで低下する。不適切な層が選ばれた場合には、ランダム選択よりも性能が劣ることもあり、効果のないモデル修復と不正確な性能推定を引き起こす。

ABSTRACT

Testing deep learning-based systems is crucial but challenging due to the required time and labor for labeling collected raw data. To alleviate the labeling effort, multiple test selection methods have been proposed where only a subset of test data needs to be labeled while satisfying testing requirements. However, we observe that such methods with reported promising results are only evaluated under simple scenarios, e.g., testing on original test data. This brings a question to us: are they always reliable? In this paper, we explore when and to what extent test selection methods fail for testing. Specifically, first, we identify potential pitfalls of 11 selection methods from top-tier venues based on their construction. Second, we conduct a study on five datasets with two model architectures per dataset to empirically confirm the existence of these pitfalls. Furthermore, we demonstrate how pitfalls can break the reliability of these methods. Concretely, methods for fault detection suffer from test data that are: 1) correctly classified but uncertain, or 2) misclassified but confident. Remarkably, the test relative coverage achieved by such methods drops by up to 86.85%. On the other hand, methods for performance estimation are sensitive to the choice of intermediate-layer output. The effectiveness of such methods can be even worse than random selection when using an inappropriate layer.

研究の動機と目的

• 非標準的または敵対的テストデータ下における、深層ニューラルネットワークの既存のテスト選択手法のロバスト性を調査すること。
• 信頼性を損なう故障検出および性能推定手法における設計上の落とし穴を特定すること。
• これらの落とし穴が、多様なデータセットおよびモデルアーキテクチャにおいて、手法の有効性をどの程度低下させるかを実証的に評価すること。
• 実際の応用において、よりロバストなテスト選択手法の開発と評価に役立つ実務的ガイドラインを提供すること。

提案手法

• トップクラスの国際会議から選ばれた11種類のテスト選択手法を調査し、故障検出と性能推定のタイプに分類した。
• これらの手法の設計上の脆弱性を分析し、特にモデルの信頼度、出力エントロピー、または中間層の表現に依存している点に注目した。
• 遺伝的アルゴリズムに基づくテスト生成手法を設計し、手法の失敗を露呈する敵対的テストデータを生成した。これには、高不確実性だが正しく分類されたサンプル、および低不確実性だが誤分類されたサンプルが含まれる。
• 5つのデータセット（例：CIFAR100、Traffic-sign）を用い、各データセットに対して2種類のモデルアーキテクチャを用いて、テストカバレッジとモデル修復効果を測定することで、手法の性能を評価した。
• 性能推定手法の異なる中間層における結果を比較し、層依存性を評価した。
• ラベル付け予算を50および180に設定し、性能推定の正確性を評価し、ランダム選択と比較した。

実験結果

リサーチクエスチョン

• RQ1 故障検出手法はどのような条件下で失敗し、その有効性はどの程度低下するか？
• RQ2 高不確実性だが正しく分類されたテストデータや、低不確実性だが誤分類されたテストデータは、テスト選択の信頼性にどのように影響を与えるか？
• RQ3 性能推定手法は、特徴表現に用いる中間層の選択にどの程度依存するか？
• RQ4 性能推定手法がランダム選択を下回ることはあるか？ もしあるなら、どのような条件下でそうなるか？
• RQ5 再訓練によるモデル修復において、これらの失敗が実務的にどのような影響を及えるか？

主な発見

• 故障検出手法は、正しく分類されたが高不確実性のデータに直面すると、平均で52.49%の有効性低下を示した。
• 故障検出手法は、誤分類されたが低不確実性のデータに直面すると、平均で39.80%の有効性低下を示した。
• モデル修復のシナリオでは、PRIMA、TestRank、DSAなどのテスト選択手法が、Type 1およびType 2データにさらされた場合、ランダム選択よりも性能が劣り、最大5.02%の精度低下を示した。
• 不適切な中間層を使用した場合、性能推定手法はランダム選択よりも劣ることがあり、CES-2とPACE-1は特定の設定でランダム選択よりも悪い結果を示した。
• 性能推定手法の有効性は層の選択に極めて敏感であり、最適な層はデータセットやモデルによって異なる。
• 非ロバストな手法によって選ばれた誤ったテストデータを用いると、修復済みモデルの80%が性能を低下させた。これは、ラベル付け作業の無駄とモデルの劣化のリスクを示している。