[論文レビュー] Toward End-to-End MLOps Tools Map: A Preliminary Study based on a Multivocal Literature Review

Sergio Moreschi, Gilberto Recupito+4 more|arXiv (Cornell University)|Apr 6, 2023

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究では、84種類のMLOpsツールをDevOpsフェーズごとにマッピングする多視覚的文献レビューを実施し、それらの目的、相互運用性、非相互運用性を特定した。主な貢献は、機械学習ライフサイクルの各段階に適切なツールを選択できるグラフィカルなDevOpsマップを提供することであり、最小限のツール競合を伴うエンドツーエンドのパイプライン設計を支援する。

ABSTRACT

MLOps tools enable continuous development of machine learning, following the DevOps process. Different MLOps tools have been presented on the market, however, such a number of tools often create confusion on the most appropriate tool to be used in each DevOps phase. To overcome this issue, we conducted a multivocal literature review mapping 84 MLOps tools identified from 254 Primary Studies, on the DevOps phases, highlighting their purpose, and possible incompatibilities. The result of this work will be helpful to both practitioners and researchers, as a starting point for future investigations on MLOps tools, pipelines, and processes.

研究の動機と目的

• 利用可能なツールの増加に伴い、実務家や研究者によるMLOpsツールの選定に関する混乱を解消すること。
• 先行研究レビューの制限を克服するため、白書およびグレイ・リテラチャーを含む範囲を拡大し、スノーボール法を適用すること。
• MLOpsツールを特定のDevOpsフェーズに体系的にマッピングし、機械学習ライフサイクルにおけるその役割を明確化すること。
• ツール間の潜在的な非相互運用性を同定し、効果的なパイプライン構成を促進し、統合上の問題を回避すること。
• 研究および産業分野におけるMLOps実践の採用を支援する、視覚的かつ実行可能なツールマップを提供すること。

提案手法

• 範囲と厳密性を向上させるために、先行研究の多視覚的文献レビューを内部的・差別化された再現として実施した。
• GoogleおよびGoogle Scholarで上位102件の検索結果を調査し、選択された主要研究からのスノーボール法を補足的に活用した。
• 254件の主要研究（グレイ・リテラチャー203件、ホワイト・リテラチャー51件）を収集し、84種類の異なるMLOpsツールを抽出した。
• 各ツールの目的に従って、そのツールを「計画（Plan）」「コード（Code）」「ビルド（Build）」「テスト（Test）」「リリース（Release）」「デプロイ（Deploy）」「運用（Operate）」「監視（Monitor）」の1つ以上のDevOpsフェーズにマッピングした。
• ツールの機能とデプロイメントパターンを照合することで、ツールの相互運用性および非相互運用性を評価した。
• 視覚的にツールのフェーズ別分布を表現し、ツール選定を支援するグラフィカルなDevOpsマップを生成した。

Figure 1: MLOps infinite loop [ 4 ]

実験結果

リサーチクエスチョン

• RQ1 現在実務で使用されているMLOpsツールは何か。また、それらはDevOpsライフサイクルフェーズにどのように分布しているか。
• RQ2 特定されたMLOpsツールが各DevOpsフェーズ内で果たす主な機能的目的は何か。
• RQ3 MLOpsツール間で、パイプライン統合を妨げる既知の非相互運用性は存在するか。
• RQ4 エンドツーエンドのMLOpsプラットフォームは、サードパーティツールとの統合をどの程度サポートしているか。
• RQ5 包括的で視覚的なMLOpsツールマップは、エンドツーエンドの機械学習パイプライン設計をどのように向上させうるか。

主な発見

• 254件の主要研究から合計84種類の異なるMLOpsツールが同定され、そのうち203件がグレイ・リテラチャー、51件がホワイト・リテラチャーであった。
• エンドツーエンドのMLOpsプラットフォームの大多数は、外部ツールとの統合をサポートしていないため、パイプラインの柔軟性が制限されている。
• 異なるDevOps段階からの個々のツール間には非相互運用性が確認されなかったため、一般的に一貫したパイプラインに組み合わせて使用できることが示された。
• 多くのツールが特定のフェーズに特化しており、フェーズ間での機能の重複は限定的である。
• 本研究では、現在のMLOpsソリューションに完全な自動化が欠けていることが明らかになった。多くのツールが重複するか、冗長な機能を提供している。
• グラフィカルなDevOpsマップは、ツールの分布を明確かつ実行可能に要約しており、ツール選定およびパイプライン設計を支援する。

Figure 3: Identified tools and their subcategories to produce MLOps Pipelines