[論文レビュー] Production Machine Learning Pipelines: Empirical Analysis and Optimization Opportunities

Doris Xin, Hui Miao+2 more|arXiv (Cornell University)|Mar 30, 2021

Scientific Computing and Data Management参考文献 44被引用数 17

ひとこと要約

本論文は、Googleにおける3,000件の本番MLパイプラインを対象とした大規模な実証分析を提示し、非デプロイモデルにおける重複計算による広範な非効率性を明らかにした。モデルグラフィケットと、パイプラインのプロヴェナンスに基づくランダムフォレストモデルを用いた予防的検出システムを導入することで、モデルの新鮮さを損なわずに無駄な計算を50%削減した。これは、データ管理技術を活用した顕著な最適化の可能性を示している。

ABSTRACT

Machine learning (ML) is now commonplace, powering data-driven applications in various organizations. Unlike the traditional perception of ML in research, ML production pipelines are complex, with many interlocking analytical components beyond training, whose sub-parts are often run multiple times on overlapping subsets of data. However, there is a lack of quantitative evidence regarding the lifespan, architecture, frequency, and complexity of these pipelines to understand how data management research can be used to make them more efficient, effective, robust, and reproducible. To that end, we analyze the provenance graphs of 3000 production ML pipelines at Google, comprising over 450,000 models trained, spanning a period of over four months, in an effort to understand the complexity and challenges underlying production ML. Our analysis reveals the characteristics, components, and topologies of typical industry-strength ML pipelines at various granularities. Along the way, we introduce a specialized data model for representing and reasoning about repeatedly run components in these ML pipelines, which we call model graphlets. We identify several rich opportunities for optimization, leveraging traditional data management ideas. We show how targeting even one of these opportunities, i.e., identifying and pruning wasted computation that does not translate to model deployment, can reduce wasted computation cost by 50% without compromising the model deployment cadence.

研究の動機と目的

• 本番MLパイプラインのアーキテクチャの複雑さ、運用サイクル、計算的特性を、モデルトレーニングをはるかに超えて、現実世界の本番環境で理解すること。
• 特に、デプロイされない原因となる重複計算を含む、MLパイプラインにおける非効率性を特定・定量すること。
• インクリメンタルビューのメンテナンス、プロヴェナンス追跡、マテリアライゼーションといったデータ管理原則を活用した最適化の可能性を調査すること。
• トレーニング済みモデルがデプロイされないかどうかを予測する機械学習モデルの有効性を評価し、無駄な計算を事前に削除する仕組みを可能にすること。
• モデルの新鮮さやデプロイサイクルに影響を与えることなく、顕著なコスト削減を達成できることを実証すること。

提案手法

• 著者らは、4か月間にわたり450,000体を超えるトレーニング済みモデルを含む3,000件のTFXパイプラインのプロヴェナンスグラフを分析し、パイプラインのトポロジーと実行パターンを抽出した。
• 「モデルグラフィケット」という特殊なデータモデルを導入し、MLパイプライン内で繰り返し実行されるコンポONENTを表現・分析可能にした。入力、前処理、トレーニング段階を捉える。
• 入力データ統計、前処理ステップ、コード変更パターンといった特徴量を用いて、ランダムフォレストモデルをトレーニングし、トレーニング済みモデルがデプロイされるかどうかを予測した。
• 予測されたデプロイ可能性に基づく意思決定関数を用い、非デプロイモデルを事前にプルーニングすることで、無駄な計算を削減しながらもモデルの新鮮さを維持した。
• 実世界のデータセットを用いてアプローチを評価し、主な指標としてモデルの新鮮さと合計の無駄な計算コストを用いた。
• 入力特徴量の相関解析を実施し、入力データ、前処理、コード変更などの異なる特徴量の相対的な重要度を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模本番MLパイプラインにおける典型的なアーキテクチャトポロジーとコンポONENTタイプは何か？
• RQ2 パイプラインコンポonentの繰り返し実行間にはどの程度の重複があるか。また、データ分布とモデル出力は実行回数に応じてどのように変化するか？
• RQ3 本番パイプラインにおけるトレーニング済みモデルの何パーセントが最終的にデプロイされないのか。その無駄な計算の原因は何か？
• RQ4 プロヴェナンスおよび実行メタデータに基づいてトレーニングされた機械学習モデルは、どの程度効果的にデプロイされないモデルを予測できるか。これにより、事前の最適化が可能になるか？
• RQ5 インクリメンタル計算やマテリアライゼーションといった、データ管理分野の最適化技術を用いることで、モデルの新鮮さに影響を与えずにどの程度リソースの無駄を削減できるか？

主な発見

• 分析の結果、本番MLパイプラインにおける全無駄計算の50%が、デプロイされないままトレーニングされたモデルに起因していることが判明した。
• パイプラインのプロヴェナンスに基づいてトレーニングされたランダムフォレストモデルを用いて、非デプロイモデルを事前に特定・プルーニングすることで、無駄な計算を50%削減したが、モデルの新鮮さに影響を与えることなく実現した。
• 無駄な計算の50%までプルーニングしてもモデルの新鮮さは100%を維持できるが、60%を超えると急激に低下するため、コスト削減のトレードオフにおける臨界閾値が存在することが示された。
• 入力データ特徴量のみ（RF:Input）が、コード変更やオペレータの形状を含むより複雑な特徴量セットを上回る予測性能を示し、モデルデプロイの予測において最も効果的であることが判明した。
• コード変更特徴量を入力データ特徴量に追加した（RF:History）場合、性能向上が見られず、コード変更とモデルデプロイ意思決定との間に相関がないことが示された。
• 特徴量のアブレーションスタディの結果、特定の特徴量グループが性能を支配するという兆候はなく、異なるパイプライン特性間の複雑で非線形な相互作用が予測精度を決定づけていることが示唆された。