[論文レビュー] Combinatorial Testing for Deep Learning Systems

Lei Ma, Fuyuan Zhang+5 more|arXiv (Cornell University)|Jun 20, 2018

Adversarial Robustness in Machine Learning参考文献 39被引用数 59

ひとこと要約

本論文は組合せ検証（CT）を深層学習（DL）システムに適用することを検討し、DL特有のCTカバレッジ基準と局所的なロバスト性と敵対的脆弱性を評価するCT主導のテスト生成手法を提案する。

ABSTRACT

Deep learning (DL) has achieved remarkable progress over the past decade and been widely applied to many safety-critical applications. However, the robustness of DL systems recently receives great concerns, such as adversarial examples against computer vision systems, which could potentially result in severe consequences. Adopting testing techniques could help to evaluate the robustness of a DL system and therefore detect vulnerabilities at an early stage. The main challenge of testing such systems is that its runtime state space is too large: if we view each neuron as a runtime state for DL, then a DL system often contains massive states, rendering testing each state almost impossible. For traditional software, combinatorial testing (CT) is an effective testing technique to reduce the testing space while obtaining relatively high defect detection abilities. In this paper, we perform an exploratory study of CT on DL systems. We adapt the concept in CT and propose a set of coverage criteria for DL systems, as well as a CT coverage guided test generation technique. Our evaluation demonstrates that CT provides a promising avenue for testing DL systems. We further pose several open questions and interesting directions for combinatorial testing of DL systems.

研究の動機と目的

• 安全性が重要な応用領域における頑健性の懸念（例: 敵対的攻撃）に対応するためにDLシステムのテストを動機づける。
• ニューロンの活性化に基づくCT基準を定義してDLへの組合せ検証を適応させる。
• CTターゲットをDLの層全体で体系的に網羅するCT誘導型のテスト生成手法を提案する。
• MNISTモデルを用いた実証評価を通じて頑健性テストに対するCTの有用性を示す。

提案手法

• ニューロン出力を0で分割してニューロン活性化構成を定義する。
• 層内のニューロン集合に対してt重合せスパースおよびデンスカバレッジを導入する。
• CTを(p, t)-完全性カバレッジへ拡張し、層全体のCTカバレージを定量化する。
• 制約付きテスト生成（本研究ではLPベース）を用いてDLの層全体にわたるCTターゲットを反復的にカバーするCTカバレージ誘導型TestGenアルゴリズムを開発する。
• Keras/TensorFlowと線形計画法（CPLEX）を用いてテスト生成を行うDeepCTフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 CTの概念をDLに適用してテスト空間を削減しつつ頑健性検出能力を保持できるか？
• RQ2 DL特有のCTカバレージ基準は、局所的な頑健性の問題や敵対的例を明らかにするようなテスト生成を効果的に導くか？
• RQ3 CTベースのテストはカバレージと敵対的検出の点で、DLモデルに対するランダムテストとどのように比較されるか？

主な発見

Testing Method	2-Way Sparse Coverage	2-Way Dense Coverage	(0.5,2)-Completeness	(0.75,2)-Completeness	Tests	Adversarial Test Ratio (%)
DNN 1 Random	2.28	34.95	33.75	3.75	10,000	0.00
CT L1	60.27	81.56	95.01	70.98	4,073	0.29
CT L2	76.94	91.98	99.67	91.30	6,768	2.17
CT L3	93.62	98.23	100.00	99.32	8,032	9.91
DNN 2 Random	1.18	32.56	26.98	2.10	10,000	0.00
CT L1	46.96	75.10	91.95	61.50	8,547	1.87
CT L2	68.91	87.52	98.64	82.55	11,573	3.53
CT L3	97.15	99.05	100.0	99.03	13,129	8.84
CT L4	97.41	99.11	100.0	99.03	13,217	9.35
CT L5	97.81	99.21	100.0	99.03	13,351	9.98

• CTカバレージ基準は層を分析すると高い2-wayカバレッジを生み出し、ランダムテストを上回る。
• MNIST上のDNNでは、CTベースのテストは深い層全体で最大97.81%の2-wayスパースカバレッジと99.21%の2-wayデンスカバレージを達成し、ランダムテストと比較してテスト数を大幅に削減（約4千〜1万3千テスト程度）する。
• CTベースのテストは、ランダムテストが見逃す可能性のある敵対的例を検出する。特に初期層（L1–L3）をカバーする場合に顕著。
• ランダムテストは2-wayカバレージが限られており（例：DNN1でスパース2.28%）、完全性も弱い。一方DeepCTはより高いカバレージを、より少ないテスト数で達成する。
• CTの指針は、層ごとに頑健性検出への寄与が異なることを示唆しており、層ごとに焦点を当てたCTターゲティングを提案する。