[논문 리뷰] Evaluating the Robustness of Test Selection Methods for Deep Neural Networks

Qiang Hu, Yuejun Guo외 5명|arXiv (Cornell University)|2023. 07. 29.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 딥 네ural 네트워크를 위한 11종류의 테스트 선택 방법의 강건성에 대해 평가하며, 악성 테스트 데이터 하에서 결함 탐지 및 성능 추정 방법의 심각한 실패를 규명한다. 모델의 불확실성이나 중간 레이어 출력에 의존하는 방법들은 극적으로 실패하며, 최대 86.85%까지 테스트 커버리지가 감소하고, 부적절한 레이어가 선택될 경우 무작위 선택보다도 성능이 열 劣할 수 있으며, 이는 효과적인 모델 복구와 정확한 성능 추정을 방해한다.

ABSTRACT

Testing deep learning-based systems is crucial but challenging due to the required time and labor for labeling collected raw data. To alleviate the labeling effort, multiple test selection methods have been proposed where only a subset of test data needs to be labeled while satisfying testing requirements. However, we observe that such methods with reported promising results are only evaluated under simple scenarios, e.g., testing on original test data. This brings a question to us: are they always reliable? In this paper, we explore when and to what extent test selection methods fail for testing. Specifically, first, we identify potential pitfalls of 11 selection methods from top-tier venues based on their construction. Second, we conduct a study on five datasets with two model architectures per dataset to empirically confirm the existence of these pitfalls. Furthermore, we demonstrate how pitfalls can break the reliability of these methods. Concretely, methods for fault detection suffer from test data that are: 1) correctly classified but uncertain, or 2) misclassified but confident. Remarkably, the test relative coverage achieved by such methods drops by up to 86.85%. On the other hand, methods for performance estimation are sensitive to the choice of intermediate-layer output. The effectiveness of such methods can be even worse than random selection when using an inappropriate layer.

연구 동기 및 목표

• 비표준 또는 악성 테스트 데이터 하에서 기존 딥 네ural 네트워크 테스트 선택 방법의 강건성에 대해 조사한다.
• 신뢰성에 영향을 주는 결함 탐지 및 성능 추정 방법의 설계 수준의 함정을 규명한다.
• 다양한 데이터셋과 모델 아키텍처를 통해 이러한 함정이 방법의 효과성에 어떻게 악영향을 미치는지 실증적으로 평가한다.
• 실무에서 더 강건한 테스트 선택 방법을 개발하고 평가하기 위한 실용적인 지침을 제공한다.

제안 방법

• 최상위 학술 컨ferences에서 발표된 11종류의 테스트 선택 방법을 조사하여, 결함 탐지 및 성능 추정 유형으로 분류하였다.
• 이 방법들 내부의 설계 수준의 취약점을 분석하였으며, 특히 모델의 신뢰도, 출력 엔트로피 또는 중간 레이어 표현에 대한 의존성에 초점을 맞추었다.
• 유전 알고리즘 기반의 테스트 생성 방법을 설계하여, 방법의 실패를 드러내는 악성 테스트 데이터를 생성하였으며, 이는 고불확실성으로 올바르게 분류된 샘플과 저불확실성으로 잘못 분류된 샘플을 포함한다.
• 각 데이터셋당 두 가지 모델 아키텍처를 사용하여 다섯 가지 데이터셋(CIFAR100, Traffic-sign 등)에서 테스트 커버리지 및 모델 복구 효과성을 측정함으로써 방법의 성능을 평가하였다.
• 성능 추정 방법의 경우 다양한 중간 레이어에서의 성능을 비교하여 레이어 민감도를 평가하였다.
• 라벨링 예산을 50과 180으로 설정하여 성능 추정 정확도를 평가하고 무작위 선택과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 결함 탐지 방법이 어떤 조건에서 실패하며, 그 효과성이 얼마나 심각하게 떨어지는가?
• RQ2 높은 불확실성인데도 올바르게 분류된 데이터나 낮은 불확실성인데도 잘못 분류된 데이터는 테스트 선택의 신뢰성에 어떻게 영향을 미치는가?
• RQ3 성능 추정 방법이 특징 표현을 위해 중간 레이어를 선택하는 데 얼마나 의존하는가?
• RQ4 성능 추정 방법이 무작위 선택보다 열 劣할 수 있으며, 만약 그렇다면 어떤 조건에서 그러한 일이 발생하는가?
• RQ5 재학습을 통한 모델 복구에 있어서 이러한 실패의 실용적 영향은 무엇인가?

주요 결과

• 결함 탐지 방법은 올바르게 분류되지만 높은 불확실성인 데이터를 만날 경우 평균 52.49%의 효과성 감소를 겪는다.
• 결함 탐지 방법은 잘못 분류되지만 낮은 불확실성인 데이터를 만날 경우 평균 39.80%의 효과성 감소를 겪는다.
• 모델 복구 시나리오에서 PRIMA, TestRank, DSA와 같은 테스트 선택 방법은 Type 1 및 Type 2 데이터에 노출되었을 때 무작위 선택보다 열 劣한 성능을 보이며, 최대 5.02%의 정확도 저하가 발생한다.
• 부적절한 중간 레이어를 사용할 경우 성능 추정 방법은 무작위 선택보다 열 劣할 수 있으며, CES-2와 PACE-1는 특정 설정에서 무작위 선택보다 열 劣한 결과를 보였다.
• 성능 추정 방법의 효과성은 레이어 선택에 매우 민감하며, 최적의 레이어는 데이터셋과 모델에 따라 달라진다.
• 비강건한 방법에 의해 선택된 결함 있는 테스트 데이터를 사용할 경우 복구된 모델의 최대 80%에서 성능 저하가 발생하며, 이는 라벨링 노력의 낭비와 모델 성능 저하의 위험을 시사한다.