[논문 리뷰] DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks

Zohreh Aghababaeyan, Manel Abdellatif외 2명|arXiv (Cornell University)|2023. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 70인용 수 4

한 줄 요약

DeepGD는 모델 내부 정보에 접근할 수 없는 블랙박스 방식으로, 고도로 불확실하고 다양한 불량 입력을 우선순위에 따라 선별하여 결함 탐지 능력을 극대화하면서 레이블링 비용을 최소화하는 다목적 테스트 선택 기법이다. 이는 기존 화이트박스 및 블랙박스 방법보다 결함 발견 능력에서 뛰어나며, 정보성 높은 테스트 입력을 선별함으로써 모델 재학습 정확도를 향상시킨다.

ABSTRACT

Deep neural networks (DNNs) are widely used in various application domains such as image processing, speech recognition, and natural language processing. However, testing DNN models may be challenging due to the complexity and size of their input domain. Particularly, testing DNN models often requires generating or exploring large unlabeled datasets. In practice, DNN test oracles, which identify the correct outputs for inputs, often require expensive manual effort to label test data, possibly involving multiple experts to ensure labeling correctness. In this paper, we propose DeepGD, a black-box multi-objective test selection approach for DNN models. It reduces the cost of labeling by prioritizing the selection of test inputs with high fault revealing power from large unlabeled datasets. DeepGD not only selects test inputs with high uncertainty scores to trigger as many mispredicted inputs as possible but also maximizes the probability of revealing distinct faults in the DNN model by selecting diverse mispredicted inputs. The experimental results conducted on four widely used datasets and five DNN models show that in terms of fault-revealing ability: (1) White-box, coverage-based approaches fare poorly, (2) DeepGD outperforms existing black-box test selection approaches in terms of fault detection, and (3) DeepGD also leads to better guidance for DNN model retraining when using selected inputs to augment the training set.

연구 동기 및 목표

• 모델 내부 정보에 접근할 수 없는 상황에서 대규모 불량 레이블 데이터셋의 레이블링 비용이 높다는 문제를 해결하기 위해.
• 일반적으로 실제 잘못된 예측과 관련성이 없는 커버리지 기반 테스트 선택에 의존하는 것을 줄이기 위해.
• 결함 탐지 능력을 극대화하기 위해 불확실성과 다양성을 활용하는 블랙박스 테스트 선택 방법을 개발하기 위해.
• 일반화 능력과 결함 탐지 능력을 향상시키는 데 기여하는 테스트 입력을 선별하여 모델 재학습을 향상시키기 위해.
• 반복적인 인간 중심의 레이블링이 필요한 액티브 러닝 기반 방법에 비해 비용 효율적이고 한 번의 레이블링으로도 적용 가능한 솔루션을 제공하기 위해.

제안 방법

• DeepGD는 예측의 낮은 신뢰도나 높은 엔트로피에 기반해 모델 출력 불확실성 점수를 사용하여 잘못 예측될 가능성이 높은 입력을 식별한다.
• 입력 임베딩 간의 거리 측정을 통해 마지막 은닉층에서의 거리로 다양성을 계산하여, 선택된 입력이 입력 공간의 서로 다른 영역을 커버하도록 보장한다.
• 고도로 불확실하고 높은 다양성을 동시에 확보하는 다목적 최적화 프레임워크를 통해 결함 탐지 능력을 극대화하는 테스트 입력을 선별한다.
• 모델 내부나 학습 데이터에 접근하지 않기 때문에, 제3자 또는 기업 내부의 DNN에 적용 가능하다.
• 고정된 예산 내에서 레이블링되지 않은 데이터셋을 탐색하고, 작고 영향력 있는 테스트 셋을 선택하기 위해 검색 기반 접근법을 사용한다.
• 선택된 입력은 테스트와 재학습 모두에 사용되어, 최소한의 레이블링 노력으로도 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 불확실성과 다양성을 조합한 블랙박스 테스트 선택 기법이 DNN의 결함 탐지에서 화이트박스 커버리지 기반 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 동일한 레이블링 예산 하에서 DeepGD의 결함 탐지 능력은 기존의 블랙박스 테스트 선택 기법과 비교해 어떻게 다른가?
• RQ3 DeepGD로 선별한 입력을 사용해 재학습을 수행할 경우, DNN 모델의 정확도와 결함 내성 능력이 얼마나 향상되는가?
• RQ4 불확실성과 다양성의 조합이 단독으로 사용되는 경우보다 더 나은 결함 탐지 능력을 제공하는가?
• RQ5 DeepGD는 복잡한 입력 분포를 가진 다양한 DNN 아키텍처와 데이터셋에 대해 효과적으로 작동하는가?

주요 결과

• DeepGD는 내부 모델 메트릭을 기반으로 하는 화이트박스 커버리지 기반 테스트 선택 방법과는 달리, 결함 탐지 능력에서 뚜렷이 뛰어나다.
• DeepGD는 테스트 입력 선별 시 불확실성과 다양성을 효과적으로 균형 잡고 있기 때문에, 기존의 블랙박스 방법보다 더 높은 결함 탐지 능력을 확보한다.
• 이 방법은 선택된 테스트 입력을 학습 세트에 보강함으로써 더 나은 모델 재학습 결과를 이끌어내어 정확도 향상을 이룬다.
• 모델과 데이터셋에 따라 두 번째로 우수한 테스트 선택 방법이 달라지므로, 어떤 한 방법이 항상 우월하지는 않으며, 이는 DeepGD의 다목적 전략의 강건성을 뒷받침한다.
• DeepGD는 네 가지 널리 사용되는 데이터셋과 다섯 종류의 DNN 모델에서 일관된 성능을 보이며, 일반화 능력을 입증한다.
• DeepGD는 레이블링 비용을 최소화하기 위해 레이블링되지 않은 데이터의 소수의 고영향력 셋에 집중함으로써, 제한된 예산이 있는 실생활 테스트에 실용적인 솔루션을 제공한다.