[논문 리뷰] Combinatorial Testing for Deep Learning Systems

Lei Ma, Fuyuan Zhang외 5명|arXiv (Cornell University)|2018. 06. 20.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 59

한 줄 요약

이 논문은 조합적 테스트(CT)를 딥 러닝(DL) 시스템에 적용하는 것을 탐구하고, DL 특화 CT 커버리지 기준과 CT-가이드 테스트 생성 방법을 제안하여 로컬 강건성 및 적대적 취약성을 평가한다.

ABSTRACT

Deep learning (DL) has achieved remarkable progress over the past decade and been widely applied to many safety-critical applications. However, the robustness of DL systems recently receives great concerns, such as adversarial examples against computer vision systems, which could potentially result in severe consequences. Adopting testing techniques could help to evaluate the robustness of a DL system and therefore detect vulnerabilities at an early stage. The main challenge of testing such systems is that its runtime state space is too large: if we view each neuron as a runtime state for DL, then a DL system often contains massive states, rendering testing each state almost impossible. For traditional software, combinatorial testing (CT) is an effective testing technique to reduce the testing space while obtaining relatively high defect detection abilities. In this paper, we perform an exploratory study of CT on DL systems. We adapt the concept in CT and propose a set of coverage criteria for DL systems, as well as a CT coverage guided test generation technique. Our evaluation demonstrates that CT provides a promising avenue for testing DL systems. We further pose several open questions and interesting directions for combinatorial testing of DL systems.

연구 동기 및 목표

• 안전-critical 애플리케이션에서의 강건성 문제(예: 적대적 예시)로 인해 DL 시스템의 테스트를 촉진한다.
• DL에 조합적 테스트를 뉴런 활성화 기반의 기준으로 정의하여 적응시킨다.
• DL 계층에서 CT 목표를 체계적으로 포괄하기 위한 CT 기반 테스트 생성 기법을 제안한다.
• MNIST 모델에 대한 실증 평가를 통해 강건성 테스트에서 CT의 유용성을 시연한다.

제안 방법

• 뉴런 출력이 0으로 나뉘는 것을 기준으로 뉴런 활성화 구성을 정의한다.
• 레이어 내의 뉴런 집합에 대해 t-웨이 조합의 희소 커버리지와 조밀 커버리지를 도입한다.
• CT를 (p, t)-완전성 커버리지로 확장하여 계층 전체 CT 커버리지를 정량화한다.
• 제약된 테스트 생성을 이용해 DL 계층 전반의 CT 목표를 반복적으로 포괄하는 CT 커버리지 가이드 테스트Gen 알고리즘을 개발한다.
• Keras/TensorFlow를 사용하고 선형 프로그래밍(CPLEX)을 활용한 DeepCT 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 CT 개념을 DL에 적용하여 테스트 공간을 줄이면서 강건성 탐지 능력을 보존할 수 있는가?
• RQ2 DL 특화 CT 커버리지 기준이 로컬 강건성 문제와 적대적 예시를 드러내는 테스트 생성을 효과적으로 이끄는가?
• RQ3 CT 기반 테스트가 DL 모델에서 커버리지와 적대적 탐지 측면에서 임의 테스트와 어떻게 비교되는가?

주요 결과

Testing Method	2-Way Sparse Coverage	2-Way Dense Coverage	(0.5,2)-Completeness	(0.75,2)-Completeness	Tests	Adversarial Test Ratio (%)
DNN 1 Random	2.28	34.95	33.75	3.75	10,000	0.00
CT L1	60.27	81.56	95.01	70.98	4,073	0.29
CT L2	76.94	91.98	99.67	91.30	6,768	2.17
CT L3	93.62	98.23	100.00	99.32	8,032	9.91
DNN 2 Random	1.18	32.56	26.98	2.10	10,000	0.00
CT L1	46.96	75.10	91.95	61.50	8,547	1.87
CT L2	68.91	87.52	98.64	82.55	11,573	3.53
CT L3	97.15	99.05	100.0	99.03	13,129	8.84
CT L4	97.41	99.11	100.0	99.03	13,217	9.35
CT L5	97.81	99.21	100.0	99.03	13,351	9.98

• CT 커버리지 기준은 층 분석 중 높은 2-웨이 커버리지를 산출하며 무작위 테스트를 능가한다.
• MNIST에 대한 DNN의 경우 CT 기반 테스트는 더 깊은 계층에서 최대 97.81% 2-way 희소 커버리지와 99.21% 2-way 조밀 커버리지 달성, 무작위 테스트 대비 테스트 수를 크게 줄임(~4k–13k 테스트).
• CT 기반 테스트는 특히 초기 계층(L1–L3)을 포괄할 때 무작위 테스트가 놓치는 적대적 예를 탐지한다.
• 무작위 테스트는 2-웨이 커버리지가 제한적이며 예: DNN1의 희소 커버리지 2.28%와 같은 약점을 보이고 완전성이 약하지만, DeepCT는 더 적은 테스트로 더 높은 커버리지를 달성한다.
• CT 가이던스는 서로 다른 층이 강건성 탐지에 다르게 기여한다는 것을 시사하며, 계층별 초점 CT 타깃팅을 제안한다.