[논문 리뷰] Machine Learning Testing: Survey, Landscapes and Horizons

Jie M. Zhang, Mark Harman외 2명|arXiv (Cornell University)|2019. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 235인용 수 108

한 줄 요약

이 설문은 ML 테스트를 정의하고, 속성, 구성요소, 워크플로우 및 응용 분야에 걸친 144개의 ML 테스트 논문에 대한 포괄적 검토를 제시하며, 동향과 향후 방향을 개략합니다.

ABSTRACT

This paper provides a comprehensive survey of Machine Learning Testing (ML testing) research. It covers 144 papers on testing properties (e.g., correctness, robustness, and fairness), testing components (e.g., the data, learning program, and framework), testing workflow (e.g., test generation and test evaluation), and application scenarios (e.g., autonomous driving, machine translation). The paper also analyses trends concerning datasets, research trends, and research focus, concluding with research challenges and promising research directions in ML testing.

연구 동기 및 목표

• 머신 러닝 테스트(ML testing)를 정의하고 그 범위와 용어를 명확히 한다.
• 속성, 구성요소, 워크플로우 및 응용 시나리오에 걸친 144편의 ML 테스트 논문을 조사한다.
• ML 테스트 문헌의 분포, 데이터셋 및 동향을 분석한다.
• ML 테스트 연구의 미해결 문제, 도전 과제 및 유망한 방향을 식별한다.

제안 방법

• 문헌을 네 가지 차원으로 정리한다: 테스트 속성(예: 정확성, 강건성, 공정성), ML 구성요소(데이터, 학습 프로그램, 프레임워크), 테스트 워크플로우(테스트 생성, 실행, 평가), 응용 시나리오(예: 자율주행, 기계 번역).
• 수집된 논문에 대한 양적 및 질적 분석을 수행하고 ML 범주 및 데이터셋 간의 분포를 포함한다.
• ML 테스트와 전통적 소프트웨어 테스트의 차이점을 강조하여 데이터 기반 동작, 오라클 문제 등 고유한 도전을 명확히 한다.
• ML 테스트의 도전 과제와 잠재적 연구 방향을 제시하여 전망을 종합한다.

실험 결과

연구 질문

• RQ1 ML 테스트(머신 러닝 테스트)와 소프트웨어 테스트 간의 관계를 가장 잘 포착하는 정의와 범위는 무엇인가?
• RQ2 속성, 구성요소, 워크플로우, 응용 측면에서 ML 테스트 문헌의 현황은 어떠한가?
• RQ3 ML 테스트 연구를 특징짓는 동향, 데이터셋 및 분포 패턴은 무엇인가?
• RQ4 향후 ML 테스트 연구의 주요 도전 과제와 유망한 방향은 무엇인가?

주요 결과

• 2016년 이후 ML 테스트 논문의 85%가 나타나 관심의 급격한 상승을 시사한다.
• 약 120편의 논문이 지도학습 테스트를 다루고, 3편이 비지도학습 테스트를 다루며, 1편이 강화학습을 다룬다.
• 대부분의 연구(93편)가 정확성 및 강건성에 초점을 맞추고 있으며, 해석성, 프라이버시 또는 효율성을 다루는 논문은 더 적다.
• 본 조사는 다양한 테스트 속성, 구성요소 및 워크플로우를 식별하고 ML 테스트와 전통적 소프트웨어 테스트를 대조한다.
• ML 테스트는 데이터 품질, 출현하는 시스템 행동, ML 맥락의 오라클 문제와 같은 고유한 도전 과제에 직면해 있다.