[論文レビュー] Characterizing machine learning process: A maturity framework

Rama Akkiraju, Vibha Singhal Sinha+6 more|arXiv (Cornell University)|Nov 12, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 12

ひとこと要約

この論文は、能力成熟度モデル（CMM）を模範として、企業における機械学習（ML）ライフサイクルを体系的かつ的確に管理するためのマトリクスを提案する。ビジネスユースケースとデータサイエンス要件の整合性を図るベストプラクティス、モデルの正確性と公平性の向上、一般向けモデルのドメイン特化へのカスタマイズを提示し、出発点にかかわらず組織がより高いプロセスマトリクスを達成できるように支援する。

ABSTRACT

Academic literature on machine learning modeling fails to address how to make machine learning models work for enterprises. For example, existing machine learning processes cannot address how to define business use cases for an AI application, how to convert business requirements from offering managers into data requirements for data scientists, and how to continuously improve AI applications in term of accuracy and fairness, and how to customize general purpose machine learning models with industry, domain, and use case specific data to make them more accurate for specific situations etc. Making AI work for enterprises requires special considerations, tools, methods and processes. In this paper we present a maturity framework for machine learning model lifecycle management for enterprises. Our framework is a re-interpretation of the software Capability Maturity Model (CMM) for machine learning model development process. We present a set of best practices from our personal experience of building large scale real-world machine learning models to help organizations achieve higher levels of maturity independent of their starting point.

研究の動機と目的

• 企業環境における機械学習モデルの実装方法について、学術的文献に不足している点を埋める。
• ビジネス要件をデータサイエンスタスクに変換するための体系的アプローチを提供する。
• 正確性、公平性、ドメイン特化カスタマイズの観点から、AIアプリケーションの継続的改善を可能にする。
• スケーラブルかつ信頼性の高いAIデプロイメントを支援するML開発プロセスの成熟度モデルを確立する。
• あらゆる初期成熟度レベルにある組織が実践的かつ経験に基づいたベストプラクティスを活用できるようにする。

提案手法

• ソフトウェアの能力成熟度モデル（CMM）を機械学習ライフサイクルに適応する。
• 初期（Initial）、管理（Managed）、定義済み（Defined）、定量的管理（Quantitatively Managed）、最適化（Optimizing）の5段階の成熟度レベルにおける主要プロセス領域を特定する。
• ビジネスユースケース定義、要件変換、モデルカスタマイズといった企業向けMLの課題を、プロセス能力にマッピングする。
• 多様な分野における大規模な実世界のML導入事例から得たベストプラクティスを統合する。
• 各成熟度レベルで定義されたプロセス目標、活動、メトリクスを有する構造化フレームワークを用いる。
• 継続的改善、フィードバックループ、およびビジネス、データサイエンス、エンジニアリングチーム間のクロスファンクショナル連携に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 企業は、信頼性とスケーラビリティを確保するため、どのようにしてエンドツーエンドの機械学習ライフサイクルを体系的に管理できるか？
• RQ2 ビジネス要件を実行可能なデータサイエンスタスクに変換するには、どのようなプロセス能力が必要か？
• RQ3 正確性と公平性を、構造的かつ繰り返し可能なプロセスによってどのように向上できるか？
• RQ4 ドメイン特化データカスタマイズは、産業分野全体でモデルパフォーマンスを向上させるために果たす役割は何か？
• RQ5 組織は、定義された成熟度レベルをどのように段階的に進んで、持続可能なML運用を達成できるか？

主な発見

• 提示された成熟度フレームワークにより、初期段階の能力レベルにかかわらず、組織はML開発プロセスの評価と改善が可能になる。
• CMMを模範とした成熟度レベルにMLプロセスをマッピングすることで、ビジネス、データサイエンス、エンジニアリングチーム間でのプロセス標準化が可能になる。
• 初期段階の非体系的作業から、最適化されたデータ駆動型運用への明確なプロセス進化は、モデルの信頼性と保守性を向上させる。
• 各成熟度レベルで定義されたフィードバックおよび測定メカニズムにより、正確性、公平性、ドメイン特化パフォーマンスの継続的改善が支援される。
• フレームワークを採用した組織は、ビジネス目標とML成果の整合性が向上し、開発サイクルが短縮され、モデル品質が向上していると報告している。
• 定義済みおよび定量的管理成熟度レベルにフェアネスとバイアス監視を統合することは、実現可能で効果的である。