[論文レビュー] Operationalizing Machine Learning: An Interview Study

Shreya Shankar, Rolando Garcia+2 more|arXiv (Cornell University)|Sep 16, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 29

ひとこと要約

この研究は、18名のMLエンジニアへのインタビューを通じて、production ML (MLOps) がどのように実践されているかを明らかにし、3つの成功要因—Velocity, Validation, Versioning—を特定し、組織とツールの影響を詳述する。

ABSTRACT

Organizations rely on machine learning engineers (MLEs) to operationalize ML, i.e., deploy and maintain ML pipelines in production. The process of operationalizing ML, or MLOps, consists of a continual loop of (i) data collection and labeling, (ii) experimentation to improve ML performance, (iii) evaluation throughout a multi-staged deployment process, and (iv) monitoring of performance drops in production. When considered together, these responsibilities seem staggering -- how does anyone do MLOps, what are the unaddressed challenges, and what are the implications for tool builders? We conducted semi-structured ethnographic interviews with 18 MLEs working across many applications, including chatbots, autonomous vehicles, and finance. Our interviews expose three variables that govern success for a production ML deployment: Velocity, Validation, and Versioning. We summarize common practices for successful ML experimentation, deployment, and sustaining production performance. Finally, we discuss interviewees' pain points and anti-patterns, with implications for tool design.

研究の動機と目的

• 組織やアプリケーション全体でMLモデルが本番環境でどのように運用されているかを特定する。
• MLエンジニアの視点から、MLOpsの日常的な実践、ワークフロー、意思決定点を理解する。
• 課題点、アンチパターン、将来のツール設計とプロセス改善の機会を明らかにする。

提案手法

• 多様なセクターにわたる18名のMLエンジニアを対象に、半構造化エスノグラフィック・インタビューを実施した。
• MaxQDAを用いて、オープンコーディングとアクシアルコーディングを組み合わせたグラウンデッド・セオリーを適用して、トランスクリプトを分析した。
• 共通のMLOps実践、Three Vs、課題点へと知見を統合し、ツール設計への示唆を示した。

実験結果

リサーチクエスチョン

• RQ1 データ収集からモニタリングまでの本番MLライフサイクルにおける日常的タスクは何か？
• RQ2 本番MLデプロイメントの成功を左右する要因は何で、実際にはどのように現れるのか？
• RQ3 本番環境でMLエンジニアが直面する共通の課題とアンチパターンは何で、どのようなツールが必要か？

主な発見

• MLエンジニアは本番ライフサイクルで4つのコアタスクを実行する：データ収集/ラベリング、実験、評価/デプロイ、モニタリング/対応。
• Three Vsが成功を支配する：Velocity（迅速なプロトタイピングとデバッグ）、Validation（動的で多面的な評価）、Versioning（複数のモデルとデータのバージョンを追跡）。
• 機械学習エンジニアリングは高度に実験的で、共同的なアイデア創出とデータ中心の実験を通じて早期に迅速な反復と悪いアイデアの絞り込みを重視する。
• 評価は積極的な組織的取り組みで、動的な検証データセット、標準化された検証システム、リスクを軽減するための多段階デプロイが含まれる。
• 製品指標とビジネスKPIは評価と結びついており、MLの改善が実際の製品価値に結びつくようにしている。
• 本番性能を維持するため、エンジニアはバージョン管理されたデプロイ、ガードレール、オンコールのローテーション、設定主導の変更を用いて本番のダウンタイムを最小化する。