[논문 리뷰] Towards Testing of Deep Learning Systems with Training Set Reduction

Helge Spieker, Arnaud Gotlieb|arXiv (Cornell University)|2019. 01. 14.

Software Testing and Debugging Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 지속적 통합 테스팅을 위한 딥러닝 모델 훈련을 가속화하기 위해 거리 기반, 손실 기반, 무작위 선택 기반의 훈련 세트 축소(TSR) 기법을 제안한다. 시스템적 접근 방식(거리 기반 및 손실 기반)이 원래 CIFAR-10 데이터의 10–50%만을 사용하여도 전체 훈련 손실 곡선을 유사하게 재현함을 입증하였으며, 이는 런타임을 크게 단축하면서도 훈련 행동의 정밀도를 유지함을 의미한다.

ABSTRACT

Testing the implementation of deep learning systems and their training routines is crucial to maintain a reliable code base. Modern software development employs processes, such as Continuous Integration, in which changes to the software are frequently integrated and tested. However, testing the training routines requires running them and fully training a deep learning model can be resource-intensive, when using the full data set. Using only a subset of the training data can improve test run time, but can also reduce its effectiveness. We evaluate different ways for training set reduction and their ability to mimic the characteristics of model training with the original full data set. Our results underline the usefulness of training set reduction, especially in resource-constrained environments.

연구 동기 및 목표

• 딥러닝 시스템의 지속적 통합(CI)에서 전체 훈련 런의 높은 계산 비용을 해결하기 위해.
• 작은 훈련 세트가 전체 모델의 훈련 행동, 특히 손실 곡선의 동역학을 유지하는지 평가하기 위해.
• 거리 기반, 손실 기반, 무작위 선택의 세 가지 훈련 세트 축소 전략의 효과를 비교하기 위해.
• 체계적인 축소 방법이 전체 훈련 행동에 대한 정밀도를 훼손하지 않으면서도 더 빠르고 신뢰할 수 있는 테스팅을 가능하게 할 수 있는지 확인하기 위해.
• 자원이 제한된 테스팅 환경을 지원하기 위해 대표적이고 경량의 훈련 런을 가능하게 하기 위해.

제안 방법

• 거리 기반 축소를 위해 입력 공간에서 다양하고 대표적인 샘플을 선택하기 위해 k-means 클러스터링을 적용한다.
• 손실 기반 축소를 위해 초기 모델 예측을 사용하여 높은 손실을 보이는 샘플을 식별하며, 이는 학습하기 어려운 인스턴스에 집중한다.
• 비교를 위한 기준으로 랜덤 샘플링을 사용한다. 이는 실무에서 널리 사용되는 방법이다.
• SimpleCNN과 ResNet이라는 두 개의 딥 네ural 네트워크를 사용하여 축소된 CIFAR-10 데이터셋과 전체 데이터셋에서 훈련을 수행하고, 훈련 동역학을 비교한다.
• 정규화된 제곱근 평균 제곱오차(NRMSE)를 사용하여 축소된 훈련 손실 곡선과 전체 훈련 손실 곡선 간의 유사도를 측정한다.
• 랜덤 초기화 및 샘플링의 확률적 영향을 완화하기 위해 모든 실험을 40회 반복한다.

실험 결과

연구 질문

• RQ1 훈련 세트 축소 기법이 딥러닝 모델의 훈련 행동, 특히 손실 곡선의 변화를 유지할 수 있는가?
• RQ2 거리 기반, 손실 기반, 랜덤 훈련 세트 축소 전략은 전체 훈련 손실 곡선을 얼마나 잘 재현하는가?
• RQ3 완전한 훈련 과정과 충분한 유사성을 유지하기 위해 필요한 최소 훈련 세트 크기는 얼마인가?
• RQ4 다양한 신경망 아키텍처 간에 훈련 세트 축소의 효과가 다를 수 있는가?
• RQ5 체계적인 축소 전략(거리 기반 및 손실 기반)이 랜덤 샘플링을 능가하여 훈련 정밀도를 유지할 수 있는가?

주요 결과

• 거리 기반 및 손실 기반 훈련 세트 축소 전략은 랜덤 샘플링보다 훨씬 더 전체 훈련 세트의 손실 곡선과 비슷한 결과를 보였으며, 특히 작은 데이터 크기에서 두드러졌다.
• 원래 CIFAR-10 훈련 데이터의 10%만으로도 두 체계적 방법이 ResNet에서 검증 손실 곡선의 NRMSE 값이 0.03 이하로 유지되어 높은 정밀도를 확보했다.
• 손실 기반 방법은 ResNet에서 가장 뛰어난 성능을 보였으며, 데이터 크기가 70%일 때 검증 손실의 NRMSE가 0.003으로 기록되어 거리 기반 및 랜덤 샘플링을 모두 능가했다.
• 50% 데이터 크기에서도 체계적 방법이 두 아키텍처 모두에서 NRMSE 값이 0.02 이하로 유지되어 전체 훈련과 강한 유사성을 보였다.
• 랜덤 샘플링은 모든 데이터 크기와 모델에서 일관되게 높은 NRMSE 값을 기록하여 전체 훈련 행동을 재현하는 데 떨어진 것으로 나타났다.
• 본 연구는 체계적인 훈련 세트 축소가 CI 파이프라인에서 딥러닝 테스팅을 가속화하는 데 실현 가능하고 효과적인 접근법임을 확인했다.