[논문 리뷰] TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks

Yu Li, Min Li외 3명|arXiv (Cornell University)|2021. 05. 21.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 13

한 줄 요약

TestRank는 딥러닝 모델을 위한 새로운 테스트 우선순위 지정 프레임워크로, 타겟 모델의 출력에서 유도된 내재 특징과 라벨이 부여된 및 부여되지 않은 데이터 간의 유사성 그래프를 기반으로 한 그래프 신경망(GNN)을 활용한 문맥 특징을 결합하여 라벨이 부여되지 않은 테스트 인스턴스를 순위화한다. 이는 디버깅 효율성을 크게 향상시키며, 기존 기준 대비 평균 ATPF 향상률 +0.95%를 기록하고, 버그를 드러내는 데 영향력이 큰 테스트 케이스를 우선적으로 선별함으로써 라벨링 비용을 절감한다.

ABSTRACT

Deep learning (DL) has achieved unprecedented success in a variety of tasks. However, DL systems are notoriously difficult to test and debug due to the lack of explainability of DL models and the huge test input space to cover. Generally speaking, it is relatively easy to collect a massive amount of test data, but the labeling cost can be quite high. Consequently, it is essential to conduct test selection and label only those selected "high quality" bug-revealing test inputs for test cost reduction. In this paper, we propose a novel test prioritization technique that brings order into the unlabeled test instances according to their bug-revealing capabilities, namely TestRank. Different from existing solutions, TestRank leverages both intrinsic attributes and contextual attributes of test instances when prioritizing them. To be specific, we first build a similarity graph on test instances and training samples, and we conduct graph-based semi-supervised learning to extract contextual features. Then, for a particular test instance, the contextual features extracted from the graph neural network (GNN) and the intrinsic features obtained with the DL model itself are combined to predict its bug-revealing probability. Finally, TestRank prioritizes unlabeled test instances in descending order of the above probability value. We evaluate the performance of TestRank on a variety of image classification datasets. Experimental results show that the debugging efficiency of our method significantly outperforms existing test prioritization techniques.

연구 동기 및 목표

• 딥러닝 시스템에서 막대한 양의 라벨이 부여되지 않은 테스트 데이터를 라벨링하는 데 드는 높은 비용을 해결하기 위해.
• 라벨이 부여된 및 부여되지 않은 데이터로부터의 내재 모델 동작 및 문맥 정보를 활용하여 테스트 우선순위 지정을 향상시키기 위해.
• 수동 라벨링 이전에 영향력이 큰 버그를 드러내는 테스트 인스턴스를 식별하여 디버깅 노력의 부담을 줄이기 위해.
• 그래프 기반 준지도 학습을 활용한 테스트 케이스 우선순위 지정의 효과성을 탐색하기 위해.
• 대규모 테스트 데이터 환경에서 계산 효율성과 성능 간의 상호 교환 관계를 평가하기 위해.

제안 방법

• k-최근접 이웃(k-NN)을 사용하여 라벨이 부여된 샘플(학습 데이터 및 오라클)과 라벨이 부여되지 않은 테스트 인스턴스 간의 유사성 그래프를 구축한다.
• 유사성 그래프에 그래프 신경망(GNN)을 적용하여 국소 데이터 분포 및 모델 동작 패턴을 반영하는 문맥 특징을 추출한다.
• 각 테스트 인스턴스에 대해 GNN에서 유도된 문맥 특징과 타겟 딥러닝 모델의 내재 특징(예: 소프트맥스 확률, 불확실성 점수)을 결합한다.
• 융합된 특징을 기반으로 각 라벨이 부여되지 않은 테스트 인스턴스의 버그 드러내는 확률을 예측하는 신경망 분류기를 훈련시킨다.
• 예측된 버그 드러내는 확률의 내림차순으로 라벨이 부여되지 않은 테스트 인스턴스를 우선순위에 따라 정렬하여 효율적인 라벨링을 수행한다.
• 성능 손실를 최소화하면서 계산 비용을 절감하기 위해 k-NN 그래프 구축에 근사 기법을 적용한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 및 부여되지 않은 데이터로부터의 내재 모델 출력과 문맥 특징을 결합하면 딥러닝에서 테스트 우선순위 지정 성능이 향상되는가?
• RQ2 그래프 신경망 기반의 문맥 특징 추출 기법은 영향력이 큰 버그를 드러내는 테스트 케이스를 식별하는 데 얼마나 효과적인가?
• RQ3 타겟 모델의 내부 레이어를 사용한 특징 추출기와 별도의 비지도 특징 추출기를 사용할 경우 테스트 우선순위 지정 성능에 어떤 영향을 미치는가?
• RQ4 k-NN 그래프 근사 기법은 대규모 테스트 데이터 환경에서 테스트 우선순위 지정의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ5 유사성 그래프를 구축할 때 최적의 k(이웃 수) 범위는 무엇이며, 문맥의 풍부함과 노이즈 간의 균형을 어떻게 확보할 수 있는가?

주요 결과

• TestRank는 다양한 데이터셋에서 기존 기준 대비 평균 ATPF(Average Test Prioritization F1) 향상률 +0.95%를 기록하며 뛰어난 디버깅 효율성을 입증하였다.
• 비지도 특징 추출기를 타겟 모델의 내부 레이어로 대체할 경우 평균 ATPF가 6.23% 감소하여 별도의 비지도 특징 추출기가 최적 성능을 달성하는 데 필수적임을 입증하였다.
• k-NN 그래프 근사 기법을 적용함으로써 계산 비용을 감소시켰고, 평균 성능 저하율은 0.95%에 그쳐 대규모 테스트 데이터에 적용 가능한 것으로 확인되었다.
• k 값의 범위가 넓은(20–800) 범위에서 안정적인 성능을 유지하며, k 값이 너무 작거나 너무 크지 않을 때 최적의 성능가 관찰되어 하이퍼파rameter 조정에 대한 유연성을 보였다.
• STL10 데이터셋에서 k > 20일 경우 TestRank는 최고의 기준 대비 ATPF에서 69.70% 향상되어 다양한 모델 아키텍처 및 데이터 분포에서도 일관된 효과성을 입증하였다.
• 이 프레임워크는 SVHN, CIFAR-10, CIFAR-100, STL10 등의 이미지 분류 벤치마크에서 검증된 바와 같이, 버그를 드러내는 잠재력이 높은 테스트 인스턴스를 우선순위에 따라 선별함으로써 라벨링 비용을 크게 절감한다.