[논문 리뷰] MLOps -- Definitions, Tools and Challenges

G. Symeonidis, E. Nerantzis외 2명|arXiv (Cornell University)|2022. 01. 01.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 MLOps를 DevOps 철학을 응용한 프레임워크로 정의하여 기계학습 모델의 배포, 재학습 및 모니터링을 자동화하며, 지속적 통합, 지속적 배포 및 지속적 학습을 강조한다. 주요 도구, 데이터 레이블링 및 모델 드프트와 같은 과제를 밝히고, 강력하고 공정하며 지속 가능한 프로덕션 기계학습 시스템을 달성하기 위해 AutoML과 설명 가능성 기법을 통합할 것을 주장한다.

ABSTRACT

This paper is an overview of the Machine Learning Operations (MLOps) area. Our aim is to define the operation and the components of such systems by highlighting the current problems and trends. In this context, we present the different tools and their usefulness in order to provide the corresponding guidelines. Moreover, the connection between MLOps and AutoML (Automated Machine Learning) is identified and how this combination could work is proposed.

연구 동기 및 목표

• 생산 환경에서 기계학습 모델을 구현하고 유지보수하기 위한 체계적인 프레임워크로 MLOps를 정의하는 것.
• 데이터 품질, 모델 재학습, 모니터링 복잡성과 같은 MLOps의 핵심 과제를 특정하는 것.
• MLOps와 AutoML 간의 통합을 분석하고, 모델 효율성과 자동화를 향상시키기 위한 상호보완적 관계를 제안하는 것.
• 생산 환경 시스템에서 공정성, 강건성, 설명 가능성에 대한 모니터링의 중요성을 강조하는 것.
• 특정 파이프라인 요구사항과 시스템 성숙도 수준에 맞게 도구를 선택하는 데 도움을 주기 위한 지침 제공

제안 방법

• 데이터 수집 및 전처리, 모델 학습 및 선택, 지속적 모니터링과 함께한 배포를 포함하는 세 단계 MLOps 파이프라인을 제안한다.
• 지속적 학습(CT)을 DevOps 원칙의 확장으로 도입하여 새로운 데이터가 입력될 경우 자동으로 모델을 재학습할 수 있도록 한다.
• 호환성 문제를 방지하고 재현 가능성을 확보하기 위해 파이프라인 전반에서 일관된 데이터 전처리 라이브러리를 사용할 것을 권장한다.
• 데이터 드프트, 모델 성능, 시스템 지속 가능성 모니터링을 위해 오픈소스 도구의 사용을 강조한다.
• 재학습을 위해 레이블이 없는 신규 데이터의 경우, 훈련된 모델이나 비지도 학습을 활용해 레이블을 생성할 것을 제안한다.
• 생산 환경에서 공정성, 강건성 및 모델 행동을 모니터링하기 위해 설명 가능성 AI 기법을 도입할 것을 주장한다.

실험 결과

연구 질문

• RQ1 어떻게 MLOps를 기계학습 모델의 전 생애주기를 지원할 수 있는 체계적으로 구성할 수 있는가?
• RQ2 새로운 입력에 대한 레이블이 없는 경우 모델 재학습에 직면하는 주요 과제는 무엇인가?
• RQ3 정확도를 넘어서 공정성, 강건성, 지속 가능성까지 포함한 모니터링을 어떻게 확장할 수 있는가?
• RQ4 AutoML은 MLOps 파이프라인의 성숙도와 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 어떤 도구 전략이 MLOps 파이프라인의 신뢰성과 상호운용성을 극대화하는가?

주요 결과

• 기계학습 프로젝트 중 실제로 생산 환경에 도달하는 비율은 매우 낮아 체계적인 MLOps 관행의 필요성을 보여준다.
• 지속적 학습(CT)은 데이터 분포가 시간이 지남에 따라 변화함에 따라 모델 성능을 유지하기 위해 필수적이다.
• 데이터 전처리 과정에서의 품질과 일관성은 호환성 문제를 방지하고 파이프라인 신뢰성을 확보하기 위해 핵심적이다.
• 성숙한 시스템을 위해 모니터링은 정확도를 넘어서 데이터 드프트, 모델 성능, 공정성, 강건성을 포함해야 한다.
• MLOps와 AutoML의 통합은 모델 효율성을 크게 향상시키고 모델 선택 및 하이퍼파라미터 튜닝에 대한 수동 간섭을 줄일 수 있다.
• 설명 가능성은 모델 행동을 모니터링하고 생산 환경 배포에서 신뢰성, 공정성, 준수성을 확보하기 위해 필수적이다.