[論文レビュー] A Data Quality-Driven View of MLOps

Cédric Renggli, Luka Rimanić+4 more|arXiv (Cornell University)|Feb 15, 2021

Machine Learning and Data Classification参考文献 49被引用数 43

ひとこと要約

本論文はデータ品質の次元がMLOpsの各段階にどのように伝搬するかを分析し、データ品質を下流のML性能と整合させるための原理的手法（CPClean、BER estimation、CI、ModelPicker）を提案する。

ABSTRACT

Developing machine learning models can be seen as a process similar to the one established for traditional software development. A key difference between the two lies in the strong dependency between the quality of a machine learning model and the quality of the data used to train or perform evaluations. In this work, we demonstrate how different aspects of data quality propagate through various stages of machine learning development. By performing a joint analysis of the impact of well-known data quality dimensions and the downstream machine learning process, we show that different components of a typical MLOps pipeline can be efficiently designed, providing both a technical and theoretical perspective.

研究の動機と目的

• MLモデル品質と基礎データ品質の次元（正確性、完全性、一貫性、時機性）の依存関係を強調する。
• MLOpsライフサイクルの各段階にわたる統一されたデータ品質の視点を提示する。
• データ品質とMLの成果を結びつける4つのケーススタディ（データクリーニング、実現可能性調査、CI/CD、モデル選択）を紹介する。

提案手法

• CPCleanのようなフレームワークを用いて、可能なデータ世界の条件付きエントロピーを最小化することで、トレーニングデータのクリーニングを最小限にしつつ、データ品質からMLトレーニングへのノイズ伝搬をモデル化する。
• 事前学習済み埋め込み（ease.ml/snoopy）を用いた非パラメトリックでハイパーパラメータ不要な推定器を用いたBERベースの実現可能性調査手法を提案する。
• 確率的なテスト条件と複数評価を考慮したサンプルサイズ予算を用いたMLのCI/CDテストを導入する（ease.ml/ci）。
• 事前学習モデルをオンラインでランク付けするために、ラベルを選択的に照会してNo-Regret保証を持つModelPickerを提示する（敵対的ストリームでの保証）。

実験結果

リサーチクエスチョン

• RQ1 データの正確性、完全性、一貫性、時機性は、MLの学習および評価パイプラインをどのように伝搬するか？
• RQ2 過度な人手ラベリングを必要とせず、データ品質を意識したMLOpsコンポーネントを設計してML品質を向上させることはできるか？
• RQ3 現実的なBERをどのように推定し、費用のかかる訓練なしに現実的でないMLプロジェクトの期待を防ぐために活用できるか？
• RQ4 本番MLシステムにおけるラベル予算制約下で、堅牢な継続的テストとモデル選択をどのように確保するか？
• RQ5 MLOpsにおけるデータ認識型のモデル選択とクリーニングの理論的限界と実践的アルゴリズムは何か？

主な発見

• データ品質の次元はMLモデル品質に強く影響し、データ品質に対処することはモデルの調整と同様に重要である。
• CPCleanは、ノイズ伝搬をモデル化し、可能なデータ世界のエントロピーを最小化することでクリーニングを指針づける原理的手法を提供し、kNN分類器の効率的な実装を備える。
• BER推定は、非パラメトリックで埋め込みベースの最近傍法を用いてハイパーパラメータなしに実行でき、実用的な実現可能性調査を可能にする。
• CI/CD for MLは、信頼区間に基づく評価とテストデータへの過剰適合を防ぐためのテストセット再利用の最適化を要求する確率的なテスト結果を導入する。
• ModelPickerは、敵対的および確率的ストリームの下でno-regretのオンラインモデル選択戦略を提供し、生産データシナリオでのラベリングコストを削減する。