[논문 리뷰] A Data Quality-Driven View of MLOps

Cédric Renggli, Luka Rimanić외 4명|arXiv (Cornell University)|2021. 02. 15.

Machine Learning and Data Classification참고 문헌 49인용 수 43

한 줄 요약

이 논문은 데이터 품질 차원이 MLOps 단계에 어떻게 전파되는지 분석하고, 데이터 품질을 다운스트림 ML 성능과 일치시키기 위해 원칙에 근거한 방법들(CPClean, BER 추정, CI, ModelPicker)을 제안한다.

ABSTRACT

Developing machine learning models can be seen as a process similar to the one established for traditional software development. A key difference between the two lies in the strong dependency between the quality of a machine learning model and the quality of the data used to train or perform evaluations. In this work, we demonstrate how different aspects of data quality propagate through various stages of machine learning development. By performing a joint analysis of the impact of well-known data quality dimensions and the downstream machine learning process, we show that different components of a typical MLOps pipeline can be efficiently designed, providing both a technical and theoretical perspective.

연구 동기 및 목표

• ML 모델 품질과 기저 데이터 품질 차원(정확도, 완전성, 일관성, 시의성) 간의 의존성 강조.
• MLOps 라이프사이클의 각 단계에서 통합된 데이터 품질 관점을 제시.
• 데이터 품질이 ML 결과와 연결되는 데이터 정리, 타당성 연구, CI/CD, 모델 선택의 네 가지 사례 연구를 선보인다.

제안 방법

• 가능한 데이터 세계의 조건 엔트로피를 최소화하여 학습 데이터를 정리하는 CPClean과 같은 프레임워크를 사용해 데이터 품질에서 ML 교육으로의 노이즈 전파를 모델링.
• 프리트레인드 임베딩(ease.ml/snoopy)을 활용한 비모수적이고 하이퍼파라미터 없는 추정자를 사용하는 BER 기반 타당성 연구 방법 제안.
• 확률적 테스트 조건과 다수 평가를 고려한 샘플 크기 예산이 있는 ML용 CI/CD 테스트 도입.
• 라벨을 선택적으로 질의하여 사전 학습된 모델을 순위화하고, 적대적 스트림에서 무후회 보장을 제공하는 온라인 모델 선택 방법 ModelPicker를 제시.

실험 결과

연구 질문

• RQ1 정확도, 완전성, 일관성, 시의성 데이터가 ML 학습 및 평가 파이프라인을 통해 어떻게 전파되는가?
• RQ2 과도한 사람 라벨링 없이도 ML 품질을 향상시키는 데이터 품질 인식 MLOps 구성요소를 설계할 수 있는가?
• RQ3 실현 가능성(BER)을 어떻게 추정하고 비싼 학습 없이 비현실적인 ML 프로젝트 기대치를 방지하는 데 사용할 수 있는가?
• RQ4 생산 ML 시스템에서 라벨 예산 제약하에 강건한 지속적 테스트와 모델 선택을 어떻게 보장하는가?
• RQ5 MLOps에서 데이터 인식 기반 모델 선택 및 정리에 대한 이론적 한계와 실제 알고리즘은 무엇인가?

주요 결과

• 데이터 품질 차원이 ML 모델 품질에 강하게 영향을 미치며, 데이터 품질 해결은 모델 튜닝만큼이나 중요하다.
• CPClean은 노이즈 전파를 원칙적으로 모델링하고 가능한 데이터 세계의 엔트로피를 최소화해 정리를 안내하는 방법을 제공하며, kNN 분류기에 대한 효율적인 구현이 있다.
• BER 추정은 비모수적이고 임베딩 기반의 최근접 이웃 방법을 사용해 하이퍼파라미터 없이 실행 가능 타당성 연구를 가능하게 한다.
• ML용 CI/CD는 확률적 테스트 결과를 도입하고 신뢰 구간 기반 평가 및 테스트 데이터에 대한 과적합 방지를 위한 테스트 세트 재사용 최적화를 필요로 한다.
• ModelPicker는 적대적 및 확률적 스트림에서 무-후회 온라인 모델 선택 전략을 제공하여 생산 데이터 상황에서 라벨링 비용을 감소시킨다.