[논문 리뷰] Black-Box Testing of Deep Neural Networks Through Test Case Diversity

Zohreh Aghababaeyan, Manel Abdellatif외 3명|arXiv (Cornell University)|2021. 12. 20.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 모델 내부나 학습 데이터에 접근할 필요 없이, 입력 수준의 블랙박스 메트릭으로 기하학적 다양성(geometric diversity)을 제안한다. 이는 이미지 기반 DNN 테스트의 적정성에 대한 보다 효과적이고 실용적인 대체 지표로 기여한다. 기하학적 다양성이 상태기반 커버리지 기준보다 장애 탐지 능력을 예측하는 데 더 뛰어나며, 계산 비용도 낮추어, 이미지 기반 DNN에서의 테스트 적정성 측정에 더 효과적임을 입증한다.

ABSTRACT

Deep Neural Networks (DNNs) have been extensively used in many areas including image processing, medical diagnostics, and autonomous driving. However, DNNs can exhibit erroneous behaviours that may lead to critical errors, especially when used in safety-critical systems. Inspired by testing techniques for traditional software systems, researchers have proposed neuron coverage criteria, as an analogy to source code coverage, to guide the testing of DNN models. Despite very active research on DNN coverage, several recent studies have questioned the usefulness of such criteria in guiding DNN testing. Further, from a practical standpoint, these criteria are white-box as they require access to the internals or training data of DNN models, which is in many contexts not feasible or convenient. In this paper, we investigate black-box input diversity metrics as an alternative to white-box coverage criteria. To this end, we first select and adapt three diversity metrics and study, in a controlled manner, their capacity to measure actual diversity in input sets. We then analyse their statistical association with fault detection using four datasets and five DNN models. We further compare diversity with state-of-the-art white-box coverage criteria. Our experiments show that relying on the diversity of image features embedded in test input sets is a more reliable indicator than coverage criteria to effectively guide the testing of DNNs. Indeed, we found that one of our selected black-box diversity metrics far outperforms existing coverage criteria in terms of fault-revealing capability and computational time. Results also confirm the suspicions that state-of-the-art coverage metrics are not adequate to guide the construction of test input sets to detect as many faults as possible with natural inputs.

연구 동기 및 목표

• 자연스러운 입력을 사용할 때 모델 내부 정보가 필요하고 장애 탐지 능력과 약한 상관관계를 보이는 웜박스 커버리지 기준의 한계를 해결하기 위해.
• DNN 테스트 대상의 실행 또는 출력 분석 없이 입력 데이터의 다양성에만 의존하는 블랙박스 테스팅 접근법을 개발하기 위해.
• 입력 다양성 메트릭이 DNN에서 장애 탐지 능력의 신뢰할 수 있는 대체 지표가 될 수 있는지 평가하기 위해.
• 장애 탐지 능력과 계산 효율성 측면에서 다양성 메트릭과 최신 상태의 커버리지 기준 간의 성능을 비교하기 위해.
• 유사한 실패 패턴으로 인한 중복 예측을 고려한 군집 기반 방법을 제안하여 장애 탐지 능력을 추정하기 위해.

제안 방법

• 이미지 기반 DNN 테스트 세트에 대해 기하학적 다양성, 특징 기반 다양성, NCD 기반 다양성의 세 가지 입력 다양성 메트릭을 적응 및 평가하였다.
• 다양성과 장애 탐지 관계를 평가하기 위해 네 개의 데이터셋과 다섯 개인 사전 학습된 DNN 모델을 사용한 제어된 실험 환경을 구축하였다.
• 유사한 예측 실패 패턴으로 인한 중복 장애 수를 줄이기 위해, 잘못 예측된 입력을 유사도 기반으로 군집화하는 장애 추정 기법을 제안하였다.
• 여러 DNN 아키텍처와 데이터셋에서 다양성 메트릭과 장애 탐지 비율 간의 통계적 연관성을 측정하였다.
• 최고의 다양성 메트릭이 최신 상태의 커버리지 기준(예: 뉴런 커버리지)과 비교하여 장애 탐지 상관관계와 실행 시간 측면에서 성능을 평가하였다.
• 공정한 비교를 위해 이전 연구의 결과를 선택 및 재현하였다.

실험 결과

연구 질문

• RQ1 모델 내부 정보가 필요 없이 자연스러운 입력을 기반으로 블랙박스 입력 다양성 메트릭이 DNN에서 장애 탐지 능력의 효과적인 대체 지표가 될 수 있는가?
• RQ2 기하학적 다양성은 자연스러운 테스트 입력을 사용할 때 최신 상태의 웜박스 커버리지 기준보다 장애 탐지 능력을 예측하는 데 얼마나 뛰어나며?
• RQ3 입력 다양성은 실제 장애 탐지와 얼마나 상관이 있으며, 계산 효율성 측면에서 커버리지 기준을 능가하는가?
• RQ4 유사한 실패 패턴으로 인한 중복 예측을 식별함으로써 군집 기반 접근법이 장애 추정을 향상시킬 수 있는가?
• RQ5 입력 다양성과 DNN 테스트 세트에서 탐지된 고유한 장애 수 사이에 통계적으로 유의미한 연관성이 있는가?

주요 결과

• 기하학적 다양성이 가장 효과적인 블랙박스 다양성 메트릭으로 나타나, 기존의 웜박스 커버리지 기준보다 장애 탐지 능력을 예측하는 데 뚜렷이 뛰어났다.
• 최고의 다양성 메트릭은 모든 데이터셋과 모델에서 평가된 커버리지 기준보다 장애 탐지 능력과 더 강한 통계적 상관관계를 보였다.
• 기하학적 다양성은 커버리지 기반 방법 대비 훨씬 낮은 계산 비용으로 더 높은 장애 탐지 능력을 달성하였다.
• 이 연구는 최신 상태의 커버리지 기준이 자연스러운 테스트 입력을 효과적으로 선택하기 위한 지침으로서의 유용성이 제한적임을 확인하였다.
• 군집 기반 장애 추정 방법은 유사한 잘못 예측된 입력을 식별하여 장애 수의 과다 계산을 성공적으로 줄였으며, 장애 탐지 측정의 정확도를 향상시켰다.
• 결과는 입력 다양성, 특히 기하학적 다양성이 실세계의 상황에서 블랙박스 DNN 테스트에 대해 커버리지보다 더 신뢰할 수 있고 실용적인 메트릭임을 시사한다.