[論文レビュー] Engineering AI Systems: A Research Agenda

Jan Bosch, Ivica Crnković+1 more|arXiv (Cornell University)|Jan 16, 2020

Big Data and Business Intelligence参考文献 12被引用数 14

ひとこと要約

本稿は、十数件の産業界ケーススタディから得た知見を基盤として、機械学習（ML）コンponentsを含むAIシステムの構築および進化のための構造的エンジニアリング手法を提案する。データ品質、モデルパフォーマンス、デプロイメント、コンプライアンスにおける主な課題を特定し、産業分野へのAIエンジニアリングの導入を支援する包括的な研究アジェンダを提示する。

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) are increasingly broadly adopted in industry, However, based on well over a dozen case studies, we have learned that deploying industry-strength, production quality ML models in systems proves to be challenging. Companies experience challenges related to data quality, design methods and processes, performance of models as well as deployment and compliance. We learned that a new, structured engineering approach is required to construct and evolve systems that contain ML/DL components. In this paper, we provide a conceptualization of the typical evolution patterns that companies experience when employing ML as well as an overview of the key problems experienced by the companies that we have studied. The main contribution of the paper is a research agenda for AI engineering that provides an overview of the key engineering challenges surrounding ML solutions and an overview of open items that need to be addressed by the research community at large.

研究の動機と目的

• 機械学習研究と産業分野での実装の間のギャップを埋えるために、AIシステムのエンジニアリングにおけるシステム的課題を特定すること。
• 実証的なケーススタディに基づき、企業が生産システムにMLを統合する際に繰り返し直面する問題を理解すること。
• 実世界の応用において信頼性、スケーラビリティ、コンプライアンスを支える、MLシステムの構造的エンジニアリングフレームワークを定義すること。
• 優先順位をつけて研究課題を提示することで、研究コミュニティがAIエンジニアリング分野の重要な未解決問題を解決するよう導くこと。
• 産業分野におけるML駆動システムの設計、デプロイ、進化を支援する体系的メソッドの開発を促進すること。

提案手法

• 十数件の産業界ケーススタディの定性的分析を通じて、MLシステム開発およびデプロイにおける繰り返し現れる課題を同定する。
• 産業界におけるAIシステムの典型的な進化パターン（プロトタイピングから生産運用および保守まで）を概念化する。
• データ管理、モデル設計、パフォーマンス監視、デプロイメントパイプライン、規制遵守の分野における主要なエンジニアリング課題を特定する。
• データ工学、モデルライフサイクル管理、システムアーキテクチャ、ガバナンスのコアテーマを中心に構造化された研究アジェンダを提唱する。
• ソフトウェア工学、機械学習、AIの知見を統合し、AIシステムエンジニアリングのための多分野的アプローチを定義する。
• 産業界の経験を統合し、学術的ML研究と産業実務の間のギャップを埋める研究方向性を優先順位付けする。

実験結果

リサーチクエスチョン

• RQ1 生産システムに機械学習モデルをデプロイする際、組織が直面する最も一般的な課題は何ですか？
• RQ2 データ品質、モデルパフォーマンス、デプロイメントの複雑さは、産業界におけるAIシステムの信頼性および保守性にどのように影響しますか？
• RQ3 ソフトウェアシステムにおけるMLコンponentsのエンドツーエンドライフサイクルを支援するための、どのようなシステム的エンジニアリング手法が必要ですか？
• RQ4 既存のソフトウェア工学原則は、機械学習コンponentsの独自の特性に対応するために、どのように再考・適応されるべきですか？
• RQ5 信頼性があり、スケーラブルで、コンプライアンスを満たすAIシステムを産業現場で実現するためには、どのような研究分野を優先すべきですか？

主な発見

• 企業はしばしばデータ品質の問題に直面し、これが生産環境でのモデルの不安定性や一般化性能の低下を引き起こしている。
• コンセプトドリフトや継続的な監視・再トレーニングパイプラインの欠如により、モデルパフォーマンスの時間的劣化が深刻な問題となっている。
• 既存のソフトウェアシステムへのMLモデルのデプロイと統合は、しばしば一時的な対応であり、バージョニング、テスト、CI/CDの支援が欠如している。
• GDPRなどの規制遵守は、モデルの解釈可能性と監査可能性の欠如により、大きな課題となっている。
• 伝統的なソフトウェア工学をML特有の懸念事項を含める形で拡張した構造的エンジニアリングアプローチが、産業規模のAI導入には不可欠である。
• 研究アジェンダは、データラインレージ、モデル監視、自動再トレーニングを含む10の主要な研究分野を特定し、今後の進展に不可欠であると示している。