[論文レビュー] Machine Learning Operations: A Survey on MLOps Tool Support

Nipuni Tharushika Hewage, Dulani Meedeniya|arXiv (Cornell University)|Feb 21, 2022

Big Data and Business Intelligence被引用数 36

ひとこと要約

本論文は商用利用可能なMLOpsツールのサポートを調査し、機能と使用性を比較し、制限点と今後の研究方向について論じる。

ABSTRACT

Machine Learning (ML) has become a fast-growing, trending approach in solution development in practice. Deep Learning (DL) which is a subset of ML, learns using deep neural networks to simulate the human brain. It trains machines to learn techniques and processes individually using computer algorithms, which is also considered to be a role of Artificial Intelligence (AI). In this paper, we study current technical issues related to software development and delivery in organizations that work on ML projects. Therefore, the importance of the Machine Learning Operations (MLOps) concept, which can deliver appropriate solutions for such concerns, is discussed. We investigate commercially available MLOps tool support in software development. The comparison between MLOps tools analyzes the performance of each system and its use cases. Moreover, we examine the features and usability of MLOps tools to identify the most appropriate tool support for given scenarios. Finally, we recognize that there is a shortage in the availability of a fully functional MLOps platform on which processes can be automated by reducing human intervention.

研究の動機と目的

• MLプロジェクトにおけるデータサイエンスとDevOpsの統合課題を強調し、MLOpsの必要性を喚起する。
• 商用に入手可能なMLOpsプラットフォームとその協調的で反復的なライフサイクルサポートを調査する。
• ツールの機能、使いやすさ、さまざまなシナリオへの適合性を分析して、プラットフォーム選択を導く。
• 完全自動化されたMLライフサイクルを妨げる制限点と自動化のギャップを特定する。
• MLOpsツールエコシステムの改善に向けた今後の研究方向と推奨事項を提供する。

提案手法

• 広く使用されているMLOpsプラットフォーム（Kubeflow, MLFlow, Iterative Enterprise, DataRobot, Allegro/ClearML, MLReef, Streamlit）およびクラウド提供をレビューして分類する。
• 主要な機能（データバージョニング、ハイパーパラメータ調整、モデル/実験/バージョニング、パイプライン/バージョニング、CI/CD、デプロイ、パフォーマンス監視）に基づいてプラットフォームを比較する。
• クロスエコシステムの使いやすさのためのプラットフォーム独立性とプログラミング言語サポートを評価する。
• 説明された機能に基づく各プラットフォームの強み・弱みとユースケース適用性を分析する。
• 自動化されたエンドツーエンドのMLOpsを実現する際の現在の課題を議論し、今後の研究方向を概説する。

実験結果

リサーチクエスチョン

• RQ1 既存のMLOpsプラットフォームはMLライフサイクルの管理にどのような機能を提供しているか。
• RQ2 データ/バージョン/モデル/実験/パイプラインのバージョニング、CI/CD、デプロイ、モニタリングの観点で、MLOpsツールの比較はどうか。
• RQ3 完全自動化を妨げる現在のMLOpsツールサポートの制限点とギャップは何か。
• RQ4 言語とフレームワークのサポートは、異なるチームに対するプラットフォームの適合性にどのように影響するか。
• RQ5 自動化された、使いやすいMLOpsダッシュボードの開発を進める可能性のある今後の研究方向は何か。

主な発見

• 多くのプラットフォームはMLライフサイクル管理の要素を提供するが、現時点で完全に自動化されたエンドツーエンドの解決策を提供するものはない。
• Kubeflowは専用のCI/CDコンポーネントを欠き、代わりにパイプラインを使用して再現可能な作業計画を可能にしている。
• MLflowはトラッキング、プロジェクト、モデル、レジストリを提供するが、ビルトインノートブック、ユーザー管理、完全なカスタマイズには欠けている。
• クラウド提供（SageMaker, Azure ML, Google AI Platform）は広範なMLOps機能を提供するが、コストがかさみ、単一の統一ダッシュボードを欠くことがある。
• データ中心のプラットフォーム（Iterative, ClearML, MLReef）はデータ/実験/モデル/バージョニングと協調を強化するが、範囲と統合はばらつく。
• 全体として、MLワークフローを自動化・合理化する統一された、使いやすいMLOpsダッシュボードの需要がある。）