[論文レビュー] Data Science and Digital Systems: The 3Ds of Machine Learning Systems Design

Neil D. Lawrence|arXiv (Cornell University)|Mar 26, 2019

Machine Learning and Data Classification参考文献 7被引用数 4

ひとこと要約

本論文は、機械学習システムの設計を支援する体系的で3次元的な枠組み「分解（Decomposition）、データ（Data）、展開（Deployment）」を提案する。この枠組みは、データ最優先のアーキテクチャと継続的なモデル監視に重点を置き、信頼性が高くスケーラブルなAIの展開を保証することを目的としている。このアプローチは、モデル中心の開発から、データ品質、タスクのモularity、本番環境での耐障害性を重視するエンドツーエンドのシステム設計へと焦点を移す。継続的なテストとストリーミングインfra構造を活用することで、継続的で安定したモデル展開が可能となる。

ABSTRACT

Machine learning solutions, in particular those based on deep learning methods, form an underpinning of the current revolution in "artificial intelligence" that has dominated popular press headlines and is having a significant influence on the wider tech agenda. Here we give an overview of the 3Ds of ML systems design: Data, Design and Deployment. By considering the 3Ds we can move towards \emph{data first} design.

研究の動機と目的

• グリーンフィールドおよび browfield 環境の両方において、機械学習システムを効果的に展開する課題に対処すること。
• AIにおける「ソロウの逆説」を克服し、機械学習のイノベーションが測定可能な生産性向上に結びつくようにすること。
• モデル中心の開発からデータ最優先のシステム開発へと移行するための構造的設計手法を提唱すること。
• 段階的テストとハイパーバイザーシステムを活用して、継続的なモデル展開と監視を実現すること。
• 共有のデータパイプラインと標準化されたデータ準備度レベルを備えた、データをサービスとして提供する文化への組織的変革を促進すること。

提案手法

• 3Dフレームワーク（分解：複雑なタスクを自動化可能なサブタスクに分割、データ：データ品質と準備度の確保、展開：継続的統合と監視）を適用する。
• タスクの分解を活用して、繰り返し発生する明確に定義されたサブタスクを特定し、教師あり学習に適したものを選別。特徴量工学とモデルの解釈可能性に重点を置く。
• データ出力段階でのデータキュレーションを実施し、各タスクごとに繰り返しクリーニングを行わないようにする。これにより、データ最優先のアーキテクチャを推進する。
• 概念ずれや性能低下を検出するための継続的レグレッションテストとしての「段階的テスト」を導入する。
• エミュレーションまたはスラムモデル（サrogateモデル）を用いたハイパーバイザーシステムを活用し、システム環境の変化に伴い仮定が無効化された場合に再トレーニングをトリガーする。
• ストリーミングアーキテクチャ（例：Apache Kafka）を採用し、ステートレスで非同期的かつ永続的なデータ処理を実現。これにより、リアルタイムでのモデル評価と監視性が可能になる。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、生産環境におけるスケーラビリティと信頼性を確保するため、機械学習システムを体系的に設計できるか？
• RQ2 データ品質とデータ準備度が、機械学習の展開成功に果たす役割は何か？
• RQ3 継続的な監視とテストをどのようにML展開パイプラインに統合し、長期間にわたりモデル性能を維持できるか？
• RQ4 複数のチームやサービス間で再利用可能なデータ最優先のアプローチを支えるアーキテクチャパターンは何か？
• RQ5 組織がモデル中心の文化からデータをサービスとして提供する文化へと移行するには、どのような手順が必要か？

主な発見

• 分解、データ、展開の3Dフレームワークは、システムの頑健性とスケーラビリティを向上させる、機械学習システム設計の体系的アプローチを提供する。
• データは入力段階ではなく出力段階でクリーニングすべきであり、これにより複数のチームで再利用可能な高品質なデータストリームが実現される。
• 段階的テストは、展開済みモデルにおける概念ずれや性能低下を検出する上で不可欠であり、長期的な信頼性を確保する。
• エミュレーションまたはスラムモデルを用いたハイパーバイザーシステムは、モデルの挙動を監視し、環境変化によって仮定が無効化された場合に再トレーニングをトリガーできる。
• Apache Kafka などのストリーミングアーキテクチャは、ステートレスで永続的なデータパイプラインを実現し、リアルタイムダッシュボード、異常検知、効率的なシステム監視性を可能にする。
• 組織は、共有のデータパイプラインと標準化されたデータ準備度レベルを備えた、データをサービスとして提供する原則に基づいたシステム再設計を行うことで最大の利益を得られる。