[논문 리뷰] Building a Reproducible Machine Learning Pipeline

Peter Sugimura, Florian Hartl|arXiv (Cornell University)|2018. 10. 09.

Machine Learning and Data Classification참고 문헌 6인용 수 10

한 줄 요약

이 논문은 잘 정의되고 재사용 가능한 변환을 통해 모델의 재현 가능성을 보장하기 위해 데이터, 특징, 스코링, 평가의 네 계층으로 구성된 기계학습 파이프라인을 제안한다. 이러한 모듈러한 구성 요소를 기반으로 워크플로우를 설계함으로써, 다양한 기계학습 작업에서 모델의 정확한 복제를 가능하게 하고 오프라인 및 온라인 실험을 가속화한다.

ABSTRACT

Reproducibility of modeling is a problem that exists for any machine learning practitioner, whether in industry or academia. The consequences of an irreproducible model can include significant financial costs, lost time, and even loss of personal reputation (if results prove unable to be replicated). This paper will first discuss the problems we have encountered while building a variety of machine learning models, and subsequently describe the framework we built to tackle the problem of model reproducibility. The framework is comprised of four main components (data, feature, scoring, and evaluation layers), which are themselves comprised of well defined transformations. This enables us to not only exactly replicate a model, but also to reuse the transformations across different models. As a result, the platform has dramatically increased the speed of both offline and online experimentation while also ensuring model reproducibility.

연구 동기 및 목표

• 산업 및 학계에서 널리 퍼져 있는 기계학습 모델의 재현 불가능성 문제를 해결하기 위해.
• 재현 불가능한 결과로 인한 재정적 손실, 시간 낭비 및 명성 손상 문제를 줄이기 위해.
• 다양한 모델 간에 정확한 모델 복제와 변환 재사용이 가능한 모듈러한 프레임워크를 설계하기 위해.
• 재현 가능성을 유지하면서도 오프라인 및 온라인 실험을 간소화하기 위해.
• 감사 가능성과 일관성을 지원하는 확장 가능하고 체계적인 기계학습 개발 접근법을 제공하기 위해.

제안 방법

• 프레임워크는 데이터, 특징, 스코링, 평가의 네 가지 명확히 구분된 계층으로 구성되며, 각 계층은 잘 정의된 변환으로 이루어져 있다.
• 모든 변환은 버전 관리되고 파rameter화되어 있어 결정론적 실행과 재현 가능성을 보장한다.
• 파이프라인은 다양한 모델 간에 변환을 모듈러하게 재사용할 수 있도록 지원하여 중복을 줄이고 일관성을 높인다.
• 모든 변환, 입력 및 하이퍼파라미터를 각 단계에서 로깅함으로써 추적 가능성을 강화한다.
• 개발과 배포 간 일관성을 확보하기 위해 동일한 논리를 사용하여 오프라인 모델 훈련과 온라인 추론을 모두 지원한다.
• 기존의 기계학습 워크플로우 및 CI/CD 파이프라인과 통합 가능한 소프트웨어 플랫폼으로 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습 파이프라인을 설계하면 다양한 모델과 환경 간에 정확한 재현 가능성을 확보할 수 있는가?
• RQ2 다양한 모델 간에 데이터 및 특징 변환을 재사용할 수 있도록 하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ3 모듈러한 파이프라인은 재현 가능성을 유지하면서도 기계학습 실험의 시간과 비용을 얼마나 줄일 수 있는가?
• RQ4 버전 관리된 결정론적 변환은 기계학습 모델의 감사 가능성과 신뢰도를 어떻게 향상시킬 수 있는가?
• RQ5 실제 기계학습 워크플로우에서 모델 로직을 별개로 구성 가능한 계층으로 분리하면 어떤 실용적 이점이 있는가?

주요 결과

• 프레임워크는 파이프라인의 모든 계층에서 결정론적이고 버전 관리된 변환을 강제함으로써 기계학습 모델의 정확한 복제를 가능하게 한다.
• 모듈러한 설계 덕분에 데이터 및 특징 변환을 여러 모델 간에 재사용할 수 있어 개발 시간을 단축하고 일관성을 높인다.
• 파이프라인 구성 요소를 분리하고 표준화함으로써 플랫폼이 오프라인 및 온라인 실험을 크게 가속화한다.
• 각 계층으로 분리된 책임 구조는 모델 결정 및 하이퍼파라미터의 감사 가능성과 추적 가능성을 향상시킨다.
• 재현 불가능성의 위험을 줄여, 실패한 복제로 인한 재정적 손실과 명성 손상 위험을 완화한다.
• 코드 재사용과 표준화된 워크플로우를 장려함으로써 확장 가능하고 유지보수 용이한 기계학습 개발을 지원한다.