[論文レビュー] Towards Observability for Machine Learning Pipelines

Shreya Shankar, Aditya Parameswaran|arXiv (Cornell University)|Aug 31, 2021

Scientific Computing and Data Management参考文献 22被引用数 7

ひとこと要約

この論文では、実行時テストの実行、コンポONENT間のデータフローの追跡、パイプライン健全性の事後分析を可能にする、プラットフォームに依存しない機械学習パイプライン向けの観測性システムmltraceを提案する。MLデプロイメントにおける可視性の欠如に応じて、統合の負荷を最小限に抑えつつ、分散したツールを統合した一貫性のある観測性レイヤーを提供する。

ABSTRACT

Software organizations are increasingly incorporating machine learning (ML) into their product offerings, driving a need for new data management tools. Many of these tools facilitate the initial development and deployment of ML applications, contributing to a crowded landscape of disconnected solutions targeted at different stages, or components, of the ML lifecycle. A lack of end-to-end ML pipeline visibility makes it hard to address any issues that may arise after a production deployment, such as unexpected output values or lower-quality predictions. In this paper, we propose a system that wraps around existing tools in the ML development stack and offers end-to-end observability. We introduce our prototype and our vision for mltrace, a platform-agnostic system that provides observability to ML practitioners by (1) executing predefined tests and monitoring ML-specific metrics at component runtime, (2) tracking end-to-end data flow, and (3) allowing users to ask arbitrary post-hoc questions about pipeline health.

研究の動機と目的

• 機械学習ライフサイクル全体に散在する点対点のソリューションによる、観測性の欠如という増大する課題に対処すること。
• デプロイ後における予期しない出力やモデル性能の低下といった問題を、ML実務家が検出・診断できるようにすること。
• 既存のツールのコアロジックを変更することなく、データフローとメトリクスをMLコンポONENT across で追跡できる統一的かつ拡張可能なシステムを提供すること。
• パイプライン動作に関する任意の事後質問をサポートし、事前定義されたアラートを超えた診断能力を強化すること。

提案手法

• システムは既存のML開発ツールの周囲に配置され、コンポONENTの実行をインターセプトして観測性ロジックを挿入する。
• 事前に定義されたテストを実行し、パイプラインコンポonent間で実行時中にML固有のメトリクス（例：予測品質、データドリフト）を監視する。
• コンポonent間のデータフローをインストルメント化することでエンドツーエンドのデータラインレージを追跡し、入力から出力へのトレーサビリティを可能にする。
• プラグインベースのアーキテクチャを用いて、MLスタック内の多様なツールやフレームワークとの統合をサポートする。
• 柔軟で表現力のあるクエリインターフェースを用いて、デプロイ後におけるパイプライン動作のクエリを可能にし、事後分析を可能にする。
• プラットフォーム固有の詳細を抽象化することで、異なるML環境間でのポータビリティと相互運用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 機械学習ライフサイクルにおける異種で分離されたツール間で、深い統合を要せず観測性を実現するにはどうすればよいか？
• RQ2 ML固有のメトリクスおよびコンポonent動作の効果的な実行時監視にどのようなメカニズムが必要か？
• RQ3 エンドツーエンドのデータラインレージをどのようにキャプチャし、デバッグや監査に活用できるか？
• RQ4 最小限のインストルメント化で、パイプライン動作の事後分析をどの程度サポートできるか？

主な発見

• mltraceは、既存ツールのコアロジックを変更せずに、エンドツーエンドの観測性を実現する。
• システムはパイプライン実行中にデータラインレージを効果的にキャプチャし、コンポonentレベルのメトリクスを追跡する。
• 実行時テストおよびML固有のメトリクスの監視は、実世界のMLパイプラインワークフローにおいて実行可能かつ効果的である。
• 柔軟で拡張可能なクエリインターフェースにより、パイプライン健全性に関する事後クエリが可能である。
• プラットフォームに依存しない設計により、多様なMLツールやフレームワークとの統合が可能となり、採用可能性が向上する。
• プロトタイプは、デプロイ後のデータドリフトや予測異常の診断において実現可能性と実用性を示している。