[논문 리뷰] MLOps Challenges in Multi-Organization Setup: Experiences from Two Real-World Cases

Tuomas Granlund, Aleksi Kopponen외 3명|arXiv (Cornell University)|2021. 03. 16.

Big Data and Business Intelligence참고 문헌 19인용 수 39

한 줄 요약

논문은 두 개의 실제 세계 다중 조직 MLOps 사례(Oravizio와 AuroraAI)를 제시하고, 통합, 데이터 소유권, 모델링, 모니터링, 거버넌스 도전과제를 분석하며 이를 해결하기 위한 패턴과 조직 관행을 제안한다.

ABSTRACT

The emerging age of connected, digital world means that there are tons of data, distributed to various organizations and their databases. Since this data can be confidential in nature, it cannot always be openly shared in seek of artificial intelligence (AI) and machine learning (ML) solutions. Instead, we need integration mechanisms, analogous to integration patterns in information systems, to create multi-organization AI/ML systems. In this paper, we present two real-world cases. First, we study integration between two organizations in detail. Second, we address scaling of AI/ML to multi-organization context. The setup we assume is that of continuous deployment, often referred to DevOps in software development. When also ML components are deployed in a similar fashion, term MLOps is used. Towards the end of the paper, we list the main observations and draw some final conclusions. Finally, we propose some directions for future work.

연구 동기 및 목표

• 데이터를 자유롭게 공유할 수 없는 다중 조직 맥락에서 MLOps 연구를 촉진한다.
• 조직 경계 간의 통합 및 확장 도전과제를 식별하고 분석한다.
• 다중 조직 ML 배치를 가능하게 하는 실용적 패턴과 거버넌스 개념을 제공한다.
• 데이터 소유권 및 규제 제약이 MLOps 관행을 어떻게 형성하는지 강조한다.

제안 방법

• 두 개의 실제 사례 연구를 제시한다: Oravizio(의료 ML 서비스를 공유하는 두 기관)와 AuroraAI(대중 서비스를 위한 AI의 다중 조직 규모 확장).
• 각 사례에서 데이터 세트 소유권, 모델 공유, 모니터링 및 거버넌스를 분석한다.
• 조직 간 ML 산출물을 가능하게 하는 패턴 및 아키텍처 결정(예: 모델을 공유 소프트웨어 구성요소로 간주하는 방법)을 논의한다.
• ML 맥락에서의 지속적 배포를 프레이밍하기 위해 CD4ML 및 DevOps/MLOps 개념과의 연관성을 제시한다.

실험 결과

연구 질문

• RQ1 데이터 프라이버시와 소유권 제약을 유지하면서 ML 기능을 조직 간 경계에서 어떻게 통합할 수 있는가?
• RQ2 실용적 패턴과 조직 관행은 신뢰할 수 있는 다중 조직 MLOps를 어떻게 가능하게 하는가?
• RQ3 데이터 거버넌스, 규제 제약 및 모델 이관이 조직 간 ML 배포에 어떤 영향을 미치는가?
• RQ4 AuroraAI와 같은 다중 조직 생태계로 ML 솔루션을 확장할 때 어떤 고려가 필수적인가?

주요 결과

• 데이터 소유권 및 규제 제약으로 인해 조직 간 데이터 이동이 어렵고 경계를 보존하는 데이터 레이크 및 공유 패턴이 필요하다.
• 데이터를 노출할 수 없을 때 공유 ML 모델이 교차 조직 협업의 기본 산출물로 작동할 수 있으며, 모델 개발 및 배포가 조직 간에 분산된다.
• 다중 조직 MLOps의 모니터링은 편향, 드리프트 및 거버넌스를 고려해야 하며, 종종 사람의 개입과 명확한 책임 경계가 필요하다.
• Evaluator(Oravizio) 및 User Delegation(AuroraAI)과 같은 패턴은 조직 간 ML 협업에 대한 실용적인 접근을 보여준다.
• 성공적인 다중 조직 ML은 공동 운영 모드(OrgOps)와 단일 조직 DevOps를 넘어선 협업을 필요로 하며, 문화적 및 거버넌스 차이를 인식해야 한다.