[논문 리뷰] Assuring the Machine Learning Lifecycle: Desiderata, Methods, and Challenges

Rob Ashmore, Radu Călinescu외 1명|arXiv (Cornell University)|2019. 05. 10.

Adversarial Robustness in Machine Learning참고 문헌 160인용 수 87

한 줄 요약

ML 생애주기에 대한 포괄적 설문으로, 데이터 관리, 모델 학습, 검증 및 배포에 대한 desiderata와 방법을 상세히 다루고, 남은 과제를 개략적으로 제시한다.

ABSTRACT

Machine learning has evolved into an enabling technology for a wide range of highly successful applications. The potential for this success to continue and accelerate has placed machine learning (ML) at the top of research, economic and political agendas. Such unprecedented interest is fuelled by a vision of ML applicability extending to healthcare, transportation, defence and other domains of great societal importance. Achieving this vision requires the use of ML in safety-critical applications that demand levels of assurance beyond those needed for current ML applications. Our paper provides a comprehensive survey of the state-of-the-art in the assurance of ML, i.e. in the generation of evidence that ML is sufficiently safe for its intended use. The survey covers the methods capable of providing such evidence at different stages of the machine learning lifecycle, i.e. of the complex, iterative process that starts with the collection of the data used to train an ML component for a system, and ends with the deployment of that component within the system. The paper begins with a systematic presentation of the ML lifecycle and its stages. We then define assurance desiderata for each stage, review existing methods that contribute to achieving these desiderata, and identify open challenges that require further research.

연구 동기 및 목표

• 머신 러닝 생애주기와 그 네 가지 단계(Data Management, Model Learning, Model Verification, Model Deployment)를 정의한다.
• 각 단계에서 생산되는 산출물에 대한 보증 desiderata를 식별하여 안전-중요 시스템에서 신뢰할 수 있는 ML을 가능하게 한다.
• 각 단계에 대한 기존 보증 방법을 검토하고 그 가정, 장점, 한계를 논의한다.
• 생애주기 전반에 걸친 보증 증거의 획득, 검증 및 통합에 남아 있는 open challenges를 강조한다.

제안 방법

• ML 생애주기와 그 단계들을 체계적으로 정의한다.
• 각 단계에서 산출물(데이터 세트, 모델, 검증 결과)에 보증 desiderata를 매핑한다.
• 데이터 관리, 모델 학습, 검증(형식적 검증 포함), 배포를 통해 보증에 기여하는 방법을 조사한다.
• 지도학습, 비지도학습, 강화학습에서의 한계와 적용 가능성을 논의한다.
• 추가 연구 및 개발이 필요한 남은 과제를 식별한다.

실험 결과

연구 질문

• RQ1 ML 생애주기의 각 단계에서 안전-중요 배치를 지원하기 위해 필요한 보증 증거는 무엇인가?
• RQ2 데이터 관리, 모델 학습, 검증 및 배포 전반에 걸쳐 이 보증 증거를 생성하고 검증하는 방법은 무엇인가?
• RQ3 ML 생애주기 전반에 걸친 철저한 보증을 달성하는 데 있어 주요 도전과제는 무엇인가?

주요 결과

• 논문은 네 단계로 구성된 구조화된 생애주기를 제시하고 각 단계에서 보증 증거가 어떻게 생산되어야 하는지 설명한다.
• 데이터 관리, 모델 학습, 검증, 배포에 걸친 방법과 그 가정, 한계를 통합한다.
• 형식적 검증, 테스트 기반 검증, 배포 시 모니터링을 보증의 일부로 다룬다.
• 데이터 품질, 입력 도메인의 완전성, 누설, 편향 및 적대적 강건성의 남은 과제들을 식별한다.
• 생애주기의 모든 단계에서의 증거를 통합한 포괄적 보증 사례가 안전-중요 시스템에 필요하다고 주장한다.