[논문 리뷰] DeepMutation: Mutation Testing of Deep Learning Systems

Lei Ma, Fuyuan Zhang외 9명|arXiv (Cornell University)|2018. 05. 14.

Software Testing and Debugging Techniques인용 수 29

한 줄 요약

이 논문은 딥러닝 시스템을 대상으로 한 테스트 데이터 품질 평가를 위해 훈련 데이터, 훈련 프로그램, 훈련된 모델에 고장을 주입하는 전용 변형 연산자를 사용하여 결함 테스팅 프레임워크인 DeepMutation을 제안한다. 이 프레임워크는 높은 변형 탐지율이 더 나은 테스트 세트 품질과 관련이 있음을 입증하며, 여러 모델을 사용한 MNIST 및 CIFAR-10 데이터셋에서 딥러닝 시스템의 강건성과 신뢰성 향상에 유망한 성과를 보였다.

ABSTRACT

Deep learning (DL) defines a new data-driven programming paradigm where the internal system logic is largely shaped by the training data. The standard way of evaluating DL models is to examine their performance on a test dataset. The quality of the test dataset is of great importance to gain confidence of the trained models. Using an inadequate test dataset, DL models that have achieved high test accuracy may still lack generality and robustness. In traditional software testing, mutation testing is a well-established technique for quality evaluation of test suites, which analyzes to what extent a test suite detects the injected faults. However, due to the fundamental difference between traditional software and deep learning-based software, traditional mutation testing techniques cannot be directly applied to DL systems. In this paper, we propose a mutation testing framework specialized for DL systems to measure the quality of test data. To do this, by sharing the same spirit of mutation testing in traditional software, we first define a set of source-level mutation operators to inject faults to the source of DL (i.e., training data and training programs). Then we design a set of model-level mutation operators that directly inject faults into DL models without a training process. Eventually, the quality of test data could be evaluated from the analysis on to what extent the injected faults could be detected. The usefulness of the proposed mutation testing techniques is demonstrated on two public datasets, namely MNIST and CIFAR-10, with three DL models.

연구 동기 및 목표

• 딥러닝 시스템에서 테스트 데이터 품질에 대한 체계적인 평가 기법의 부족을 해결하기 위해.
• 높은 정확도에도 불구하고 모델의 취약성을 간과할 수 있는 테스트 세트의 핵심적 약점을 밝혀내기 위해.
• 기존 소프트웨어에서 잘 정립된 결함 테스팅 기법을 딥러닝 시스템의 고유한 특성에 맞게 적응하기 위해.
• 훈련 데이터, 훈련 코드, 훈련된 모델에서 실제적인 결함을 시뮬레이션할 수 있는 변형 연산자를 설계하고 검증하기 위해.
• 모델 수준의 결함을 탐지하는 데 효과적이고 확장 가능한 테스트 세트 효과성 측정 프레임워크를 제공하기 위해.

제안 방법

• 실제 데이터 수집 및 구현 단계에서 발생할 수 있는 결함을 시뮬레이션하기 위해 훈련 데이터와 훈련 프로그램을 대상으로 한 여덟 가지 소스 수준 변형 연산자를 제안한다.
• 재학습 없이 모델 가중치와 구조를 직접 수정함으로써 빠른 변형 생성이 가능한 여덟 가지 모델 수준 변형 연산자를 설계한다.
• 기존 결함 테스팅 메트릭(예: 변형 사망률, 변형 점수)을 적용하여 테스트 세트의 효과성을 평가한다.
• 각 변형 모델을 테스트 세트에 적용하고 원본 모델과 출력을 비교하여 행동 차이를 탐지한다.
• 출력의 일관성 없는 결과 탐지 결과를 바탕으로 테스트 세트가 결함을 드러내는 데 효과적인지의 증거로 활용한다.
• 다양한 결함 유형을 커버하고 테스트 커버리지를 향상시키기 위해 소스 수준과 모델 수준의 변형을 융합한 하이브리드 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 시스템의 훈련 데이터와 훈련 프로그램에 주입된 결함을 얼마나 잘 결함 테스팅이 탐지할 수 있는가?
• RQ2 재학습 없이도 모델 수준의 변형 연산자가 테스트 세트의 약점을 드러내는 데 얼마나 효과적인가?
• RQ3 변형 탐지율이 딥러닝에서 테스트 데이터 품질 평가를 위한 신뢰할 수 있는 메트릭으로 사용될 수 있는가?
• RQ4 다양한 변형 연산자가 모델 취약성을 드러내는 데 얼마나 효과적인가?
• RQ5 제안된 프레임워크는 높은 정확도 기준 벤치마크가 간과할 수 있는 테스트 세트의 한계를 밝혀낼 수 있는가?

주요 결과

• 제안된 소스 수준 변형 연산자는 훈련 데이터와 프로그램에 현실적인 결함을 성공적으로 주입하여 일반적인 데이터 및 코드 오류를 시뮬레이션했다.
• 모델 수준 변형 연산자는 대규모 변형 집합의 효율적 생성을 가능하게 하여, 소스 수준 변형이 간과할 수 있는 세밀한 모델 수준의 문제를 드러냈다.
• MNIST 및 CIFAR-10에서 변형 사망률이 높은 테스트 세트는 정확도가 높더라도 더 강건하고 일반화 능력이 뛰어났다.
• 변형 점수 메트릭은 테스트 세트 품질과 강하게 상관관계를 보이며, 이는 테스트 데이터 평가를 위한 정량적 측정 기준으로서의 잠재력을 보여주었다.
• 프레임워크는 높은 정확도를 보이는 모델가운데도 미세한 변형에 노출되었을 때 취약할 수 있음을 드러내어 테스트 세트의 한계를 강조했다.
• 평가 결과, 결함 테스팅은 딥러닝 시스템에서 테스트 데이터 품질 평가에 실현 가능하고 효과적인 기법임을 확인했다.