[論文レビュー] Management of Machine Learning Lifecycle Artifacts: A Survey

Marius Schlegel, Kai-Uwe Sattler|arXiv (Cornell University)|Oct 21, 2022

Data Quality and Management被引用数 5

ひとこと要約

本論文は、64の機械学習（ML）ライフサイクルアーティファクト管理システム（ML AMSs）を包括的に調査し、機能的および非機能的機能を評価・比較するための体系的フレームワークを提案する。体系的文献レビューに基づき、データセット、モデル、ハイパーパramータ、メタデータなどのアーティファクトのための評価基準を定義し、MLflow、Weights & Biases、Vertex AIなどのプラットフォームを評価することで、MLライフサイクル全体における再現性、トレーサビリティ、ツール間相互運用性の分野における主要なギャップを明らかにした。

ABSTRACT

The explorative and iterative nature of developing and operating machine learning (ML) applications leads to a variety of artifacts, such as datasets, features, models, hyperparameters, metrics, software, configurations, and logs. In order to enable comparability, reproducibility, and traceability of these artifacts across the ML lifecycle steps and iterations, systems and tools have been developed to support their collection, storage, and management. It is often not obvious what precise functional scope such systems offer so that the comparison and the estimation of synergy effects between candidates are quite challenging. In this paper, we aim to give an overview of systems and platforms which support the management of ML lifecycle artifacts. Based on a systematic literature review, we derive assessment criteria and apply them to a representative selection of more than 60 systems and platforms.

研究の動機と目的

• 機能的および非機能的範囲が明確でないため、MLアーティファクト管理システム（ML AMSs）を比較・選定することが困難であるという課題に対処する。
• ML AMSsの機能的および非機能的次元における評価に用いる標準化された評価基準を特定・定義する。
• 学術界および産業界から抽出した64のML AMSsを、包括的かつ証拠に基づいて比較し、ツール選定および統合を支援する。
• MLライフサイクルの各段階における再現性、トレーサビリティ、相互運用性に関する、現行システムにおけるギャップを明らかにする。
• 研究者および実務家がMLOpsワークフローに効果的にML AMSsを選び、組み合わせて使用できるように支援する。

提案手法

• 学術的および産業的ソースから64のML AMSsを同定・収集するため、体系的文献レビューを実施した。
• データセット、モデル、ハイパーパramータ、メトリクス、コード、設定、ログを含む、MLライフサイクルアーティファクトの分類を定義した。
• 機能的（例：アーティファクト追跡、実験管理）および非機能的（例：スケーラビリティ、統合サポート）機能をカバーする包括的な評価基準のセットを構築した。
• 各同定されたシステムに対して、文書、ソースコード、プラットフォーム機能の詳細な分析を通じて、評価基準を適用した。
• 主な焦点（例：実験追跡、モデルレジストリ、MLOpsオ케ストレーション）に基づいてシステムを分類し、エンドツーエンドのライフサイクル管理支援の程度を評価した。
• 包括的なカバー範囲を確保するため、スノーボール法および引用チェインニングを用いた。

実験結果

リサーチクエスチョン

• RQ1 MLアーティファクト管理システム（ML AMSs）の機能的および非機能的機能を記述・評価・比較するための基準は何か？
• RQ2 学術界および産業界に存在するML AMSsはどのようなものがあり、MLライフサイクルアーティファクトの管理をどの程度サポートしているか？
• RQ3 再現性、トレーサビリティ、およびMLライフサイクル段階全体での比較可能性を実現する上で、既存のML AMSsの強み、制限、および連携の可能性は何か？
• RQ4 ML AMSsは、モデル、データセット、ハイパーパramータ、メタデータ、実行ログなど、多様なアーティファクトをどのように管理しているか？
• RQ5 相互運用性、ツールチェーン、エンドツーエンドのライフサイクル支援に関する、現行システムにおける主なギャップは何か？

主な発見

• 本研究では64の異なるML AMSsを同定した。その多くは実験追跡およびモデルレジストリに焦点を当てており、完全なライフサイクル管理をサポートするものは少数にとどまる。
• 調査対象のシステムのうちわずか12％しか、データおよびモデルアーティファクトのラインレージ追跡をネイティブにサポートしておらず、再現性に制限がある。
• MLflow、Weights & Biases、Vertex AIは、実験追跡、モデルレジストリ、ハイパーパramータチューニングの統合的サポートを提供する、最も包括的なプラットフォームの一部である。
• 多くのシステムが相互運用性のための標準化されたインターフェースやAPIを欠いており、ツールを連携させる際の連携可能性が低下している。
• ソフトウェア設定や環境依存関係の管理に対するネイティブなサポートの欠如が顕著なギャップとなっており、これは再現性にとって極めて重要である。
• 本サーベイでは、多くのシステムがモデルおよび実験追跡をサポートしている一方で、特徴量のバージョニング、データ前処理パイプライン、またはモデル推論ログのバージョニングをサポートするものは少数にとどまっていることが明らかになった。