[논문 리뷰] DeepGini: Prioritizing Massive Tests to Enhance the Robustness of Deep Neural Networks

Feng Yang, Qingkai Shi외 4명|arXiv (Cornell University)|2019. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 11

한 줄 요약

DeepGini는 출력 집합의 불순도를 측정하여 오분류 확률을 추정하는 통계적 시각을 활용하여, 깊이 신경망(DNNs)의 테스트 우선순위를 정하는 새로운 기법이다. 이는 내부 모델 검사 없이도 효율적인 오분류 가능성이 높은 테스트 케이스를 식별할 수 있게 하며, 효과성과 효율성 면에서 커버리지 기반 방법을 뛰어넘어, 더 적은 레이블링 테스트로 DNN의 강건성을 크게 향상시킨다.

ABSTRACT

Deep neural networks (DNN) have been deployed in many software systems to assist in various classification tasks. In company with the fantastic effectiveness in classification, DNNs could also exhibit incorrect behaviors and result in accidents and losses. Therefore, testing techniques that can detect incorrect DNN behaviors and improve DNN quality are extremely necessary and critical. However, the testing oracle, which defines the correct output for a given input, is often not available in the automated testing. To obtain the oracle information, the testing tasks of DNN-based systems usually require expensive human efforts to label the testing data, which significantly slows down the process of quality assurance. To mitigate this problem, we propose DeepGini, a test prioritization technique designed based on a statistical perspective of DNN. Such a statistical perspective allows us to reduce the problem of measuring misclassification probability to the problem of measuring set impurity, which allows us to quickly identify possibly-misclassified tests. To evaluate, we conduct an extensive empirical study on popular datasets and prevalent DNN models. The experimental results demonstrate that DeepGini outperforms existing coverage-based techniques in prioritizing tests regarding both effectiveness and efficiency. Meanwhile, we observe that the tests prioritized at the front by DeepGini are more effective in improving the DNN quality in comparison with the coverage-based techniques.

연구 동기 및 목표

• DNN의 테스트 오라클 레이블링에 드는 높은 인간적 비용 문제를 해결하여 확장 가능한 품질 보증을 가능하게 하기 위해.
• 커버리지 기반 테스트 우선순위 정렬의 한계, 즉 낮은 결함 탐지 능력과 확장성 문제를 극복하기 위해.
• 제한된 레이블링 예산 하에서 결함 탐지를 극대화할 수 있도록 효과적으로 테스트를 우선순위 정하기 위한 방법을 개발하기 위해.
• 내부 뉴런 커버리지에 의존하지 않고 DNN의 출력 공간 분석을 통해 효율적이고 효과적인 테스트 우선순위 정렬을 가능하게 하기 위해.

제안 방법

• 오분류 확률을 집합의 불순도로 모델링하는 DNN의 통계적 시각을 제안하여, 내부 모델 검사 없이도 효율적인 추정이 가능하도록 한다.
• Gini 불순도 측정법을 사용하여 DNN 출력의 불확실성을 정량화하며, 높은 Gini 값은 오분류 가능성 증가를 나타낸다.
• Gini 점수에 기반해 테스트 케이스를 우선순위 정하며, 잘못된 동작을 드러내는 데 가장 높은 잠재력을 가진 케이스를 선별한다.
• 뉴런 커버리지에 의존하지 않고 출력 분포에 집중함으로써, 커버리지 기반 방법에 내재된 확장성 및 분류 문제를 피한다.
• 레이블링 노력 대비 결함 탐지 능력을 극대화하는 테스트 선택 파이프라인에 Gini 기반 우선순위 정렬을 통합한다.
• 표준 이미지 분류 데이터셋과 인기 있는 DNN 아키텍처를 대상으로 실증적 평가를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 출력 불확실성에 대한 통계적 측정법이 기존의 커버리지 기반 테스트 우선순위 정렬보다 오분류된 DNN 입력을 더 잘 식별할 수 있는가?
• RQ2 제한된 레이블링 예산 하에서 DeepGini는 커버리지-전체 및 커버리지-추가 방법에 비해 결함 탐지에 얼마나 효과적인가?
• RQ3 DeepGini는 수백만 개의 파라미터와 고차원 입력 공간을 가진 대규모 DNN에 대해 효율적으로 확장 가능한가?
• RQ4 Gini 기반 우선순위 정렬이 커버리지 기반 접근법보다 레이블링 과정의 초기 단계에서 결함 유발 테스트 케이스를 더 일찍 식별할 수 있는가?

주요 결과

• DeepGini는 제한된 레이블링 예산 하에서 커버리지-전체 및 커버리지-추가 방법보다 오분류된 테스트 케이스 탐지에 뚜렷이 뛰어나다.
• DeepGini로 우선순위를 정한 테스트 케이스는 레이블링 과정의 초기 단계에서 더 높은 결함 탐지 비율을 달성하여, 훨씬 뛰어난 효과성을 보였다.
• DeepGini는 커버리지-추가 방법에 비해 낮은 계산 오버헤드를 기록하여 높은 효율성을 확보했으며, 이는 O(mn²) 복잡도로 인해 성능 저하를 겪는 커버리지-추가 방법과 대비된다.
• DeepGini는 ImageNet과 CIFAR-10을 포함한 다양한 DNN 아키텍처와 데이터셋에서 강건하게 작동하며, 일관된 성능 향상을 보였다.
• 뉴런 커버리지가 테스트 케이스를 구분하지 못할 때조차, 출력 불확실성에 초점을 맞추어 코너 케이스와 적대적 입력을 효과적으로 식별했다.
• 실증 결과에 따르면, DeepGini는 커버리지 기반 방법에 비해 훨씬 적은 레이블링 노력으로 동일하거나 더 뛰어난 DNN 강건성 향상을 달성할 수 있었다.