[논문 리뷰] Smoke Testing for Machine Learning: Simple Tests to Discover Severe Defects

Steffen Herbold, Tobias von der Haar|arXiv (Cornell University)|2020. 09. 03.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 입력과 하이퍼파라미터에 대한 등가류 분석과 경계값 분석을 활용해 경량이며 일반적인 스크린 테스트 방법을 제안한다. 간단한 교과서 기반 테스트 기법이 세 가지 성숙한 머신러닝 라이브러리에서 기존에 알려지지 않은 심각한 버그 총 11개(중요 버그 2개 포함)를 발견함으로써, 기초적인 테스트 방법이 현대 머신러닝 시스템에 여전히 효과적이고 유연하게 적용될 수 있음을 입증한다.

ABSTRACT

Machine learning is nowadays a standard technique for data analysis within software applications. Software engineers need quality assurance techniques that are suitable for these new kinds of systems. Within this article, we discuss the question whether standard software testing techniques that have been part of textbooks since decades are also useful for the testing of machine learning software. Concretely, we try to determine generic and simple smoke tests that can be used to assert that basic functions can be executed without crashing. We found that we can derive such tests using techniques similar to equivalence classes and boundary value analysis. Moreover, we found that these concepts can also be applied to hyperparameters, to further improve the quality of the smoke tests. Even though our approach is almost trivial, we were able to find bugs in all three machine learning libraries that we tested and severe bugs in two of the three libraries. This demonstrates that common software testing techniques are still valid in the age of machine learning and that considerations how they can be adapted to this new context can help to find and prevent severe bugs, even in mature machine learning libraries.

연구 동기 및 목표

• 기존 소프트웨어 테스트 기법이 현대 머신러닝 시스템에 여전히 효과적인지 조사하기.
• 복잡한 테스트 오라클이 필요 없이 머신러닝 라이브러리의 심각한 결함을 탐지할 수 있는 일반적이고 단순한 스모크 테스트를 식별하기.
• 입력과 하이퍼파라미터에 대해 등가류 분석과 경계값 분석을 적응시켜 보다 광범위한 테스트 커버리지 확보하기.
• 하이퍼파라미터 조합 테스트 전략의 효과성과 확장성을 평가하여 스케일링 가능한 효율적 스모크 테스팅 구현하기.
• 머신러닝 라이브러리 개발자가 핵심 결함을 조기에 방지하고 탐지할 수 있도록 실용적인 최적 실천 방안 수립하기.

제안 방법

• 극단적인 값, 0개의 특성, 빈 또는 거의 빈 클래스와 같은 문제 영역을 식별하기 위해 등가류 분석 적용하기.
• 하이퍼파라미터에 분석을 확장하여, 하이퍼파라미터를 테스트 조건으로 모델링하고 경계값 및 등가류 기법 적용하기.
• 기타 하이퍼파라미터는 기본값으로 유지하면서 각 하이퍼파라미터의 등가류를 한 번씩 커버하는 선형 복잡도의 조합 전략 사용하기.
• 모델 학습 및 예측과 같은 핵심 머신러닝 기능을 대상으로 최소 크기이자 재사용 가능한 스모크 테스트 세트 설계하기.
• 스모크 테스트 세트를 세 가지 성숙한 머신러닝 라이브러리(sciKit-learn, Weka, SparkML)에 적용하여 실제 세계의 버그 탐지하기.
• 모든 발견 사항을 보고하여 문제의 심각성과 재현 가능성 검증 및 투명성 확보하기.

실험 결과

연구 질문

• RQ1 등가류 분석과 경계값 분석과 같은 고전적 소프트웨어 테스트 기법을 머신러닝 시스템에 효과적으로 적응시킬 수 있는가?
• RQ2 머신러닝 라이브러리의 효과적인 스모크 테스트가 될 수 있는 최소한의 일반적 입력 및 하이퍼파라미터 구성은 무엇인가?
• RQ3 하이퍼파라미터의 조합 테스트를 어떻게 확장 가능하게 하면서도 핵심 구성의 커버리지를 확보할 수 있는가?
• RQ4 이러한 단순한 테스트가 성숙한 머신러닝 라이브러리에서 기존에 알려지지 않은 심각한 버그를 어느 정도 탐지할 수 있는가?
• RQ5 개발자가 이러한 테스트를 머신러닝 라이브러리 개발 워크플로우에 통합할 수 있도록 유도할 수 있는 최적 실천 방안은 무엇인가?

주요 결과

• 저자들은 세 가지 성숙한 머신러닝 라이브러리에서 기존에 알려지지 않은 총 11개의 버그를 발견했으며, 이 중 두 개는 심각한 수준으로 분류되었다.
• 모든 세 라이브러리가 제안된 스모크 테스트 중 적어도 하나를 통과하지 못했으며, 핵심 기능에 광범위한 문제가 있음을 시사한다.
• 테스트 케이스 수가 선형 증가하는 조합 테스트 전략은 단순하거나 단일 파라미터 테스트로는 놓쳤을 버그를 효과적으로 드러냈다.
• 제안된 스모크 테스트 세트는 극단적 입력 조건 하에서 학습 및 예측 기능의 충돌과 잘못된 동작을 성공적으로 탐지했다.
• 이 방법은 일반화 가능하며 성숙한 시스템에서도 효과적이므로, 초기 단계의 머신러닝 개발에 매우 유용할 것으로 보인다.
• 모든 보고된 버그는 개발자들에 의해 확인되었으며, 세 개는 이미 수정되었고, 나머지 대부분은 패치 통합을 기다리고 있다.