[論文レビュー] MLOps Challenges in Multi-Organization Setup: Experiences from Two Real-World Cases

Tuomas Granlund, Aleksi Kopponen+3 more|arXiv (Cornell University)|Mar 16, 2021

Big Data and Business Intelligence参考文献 19被引用数 39

ひとこと要約

本論文は2つの実世界の複数組織MLOpsケース（OravizioとAuroraAI）を提示し、統合、データ所有権、モデリング、モニタリング、ガバナンスの課題を分析し、それらに対処するパターンと組織実践を提案する。

ABSTRACT

The emerging age of connected, digital world means that there are tons of data, distributed to various organizations and their databases. Since this data can be confidential in nature, it cannot always be openly shared in seek of artificial intelligence (AI) and machine learning (ML) solutions. Instead, we need integration mechanisms, analogous to integration patterns in information systems, to create multi-organization AI/ML systems. In this paper, we present two real-world cases. First, we study integration between two organizations in detail. Second, we address scaling of AI/ML to multi-organization context. The setup we assume is that of continuous deployment, often referred to DevOps in software development. When also ML components are deployed in a similar fashion, term MLOps is used. Towards the end of the paper, we list the main observations and draw some final conclusions. Finally, we propose some directions for future work.

研究の動機と目的

• 複数組織の文脈でデータを自由に共有できない場合のMLOps研究を動機づける。
• 組織境界を跨ぐ統合とスケーリングの課題を特定・分析する。
• 複数組織でのML展開を可能にする実践的なパターンとガバナンス概念を提供する。
• データ所有権と規制上の制約がMLOps実践をどのように形成するかを強調する。

提案手法

• Oravizio（医療MLサービスを共有する2つの組織）とAuroraAI（公共サービスのAIの多組織スケーリング）という2つの実世界のケーススタディを提示する。
• 各ケースでデータセットの所有権、モデル共有、モニタリング、ガバナンスを分析する。
• 組織間のMLアーティファクトを可能にするパターンとアーキテクチャ上の意思決定（例：モデルを共有ソフトウェア部品として扱う）を検討する。
• MLの文脈で継続的デプロイを枠組みするためにCD4MLとDevOps/MLOpsの概念に findingsを関連づける。

実験結果

リサーチクエスチョン

• RQ1 データの所有権とプライバシー制約を保持しつつ、組織境界を跨いでML機能をどのように統合できるか？
• RQ2 信頼性のある複数組織MLOpsを可能にする実践的なパターンと組織実践は何か？
• RQ3 データガバナンス、規制制約、モデル引き渡しは組織間のML展開にどう影響するか？
• RQ4 AuroraAIのような多組織エコシステムへMLソリューションをスケールする際に重要な考慮事項は何か？

主な発見

• データ所有権と規制制約によりデータの組織間移動が難しくなり、境界を維持するデータレイクと共有パターンを推進する。
• データを露出できなくても、共有MLモデルを跨ぎ組織間の協力の主要成果物として機能させ、モデル開発とデプロイを組織間で分散する。
• 複数組織MLOpsのモニタリングはバイアス、ドリフト、ガバナンスを考慮する必要があり、しばしば人間の介在判断と明確な責任境界を要する。
• Evaluator（Oravizio）とUser Delegation（AuroraAI）のようなパターンは、組織間ML協力の実践的アプローチを示している。
• 成功する多組織MLには共同運用モード（OrgOps）と単一組織のDevOpsを超えた協力が必要であり、文化とガバナンスの差異を認識する。