[論文レビュー] Component Mismatches Are a Critical Bottleneck to Fielding AI-Enabled Systems in the Public Sector

Grace A. Lewis, Stephany Bellomo+1 more|arXiv (Cornell University)|Oct 14, 2019

Big Data and Business Intelligence参考文献 8被引用数 7

ひとこと要約

この論文は、公的部門におけるAIシステムの導入において、データ分布のシフト、互換性のないインターフェース、ワークフローの不一致といったコンポーネントの不一致を、重要な障壁として特定する。本論文は、不一致を分類し、システム要因の属性にマッピングし、検証済みの記述子を用いて自動検出を可能にする構造化されたフレームワークを提案する。最終的には、データサイエンティスト、ソフトウェアエンジニア、運用チームの間での相互運用性と信頼性の向上を目的としている。

ABSTRACT

The use of machine learning or artificial intelligence (ML/AI) holds substantial potential toward improving many functions and needs of the public sector. In practice however, integrating ML/AI components into public sector applications is severely limited not only by the fragility of these components and their algorithms, but also because of mismatches between components of ML-enabled systems. For example, if an ML model is trained on data that is different from data in the operational environment, field performance of the ML component will be dramatically reduced. Separate from software engineering considerations, the expertise needed to field an ML/AI component within a system frequently comes from outside software engineering. As a result, assumptions and even descriptive language used by practitioners from these different disciplines can exacerbate other challenges to integrating ML/AI components into larger systems. We are investigating classes of mismatches in ML/AI systems integration, to identify the implicit assumptions made by practitioners in different fields (data scientists, software engineers, operations staff) and find ways to communicate the appropriate information explicitly. We will discuss a few categories of mismatch, and provide examples from each class. To enable ML/AI components to be fielded in a meaningful way, we will need to understand the mismatches that exist and develop practices to mitigate the impacts of these mismatches.

研究の動機と目的

• 公的部門組織におけるAIシステムの導入におけるコンポーネント不一致という重要な課題に取り組む。
• データサイエンティスト、ソフトウェアエンジニア、運用スタッフの間で生じる異なる仮定やワークフローの不一致を特定・分類する。
• 機械学習システムコンポーネントの測定可能な属性に不一致をマッピングする体系的な手法を開発する。
• 標準化された記述子とツールチェーン統合の可能性分析を用いて、不一致の自動検出を可能にする。
• 実用的導入を支援するため、公的部門の実務家を対象にフレームワークを検証し、概念実証の自動検出を示す。

提案手法

• 実務家とのインタビューとワークショップを実施し、コンポーネント不一致の実例とその影響を抽出する。
• GitHubリポジトリ、学術文献、グレイ・リサーチを調査し、機械学習システムコンポーネントを記述するために既に使われている属性を特定する。
• 形式的述語（例：'Attribute1 + Attribute2 > Attribute5'）を用いて、各不一致を関連する属性の集合にマッピングし、検出条件を定義する。
• ギャップ分析を実施し、欠落している属性やマッピングされていない不一致を特定。その後、ドメインエキスパートの知見を活用してモデルを拡張する。
• 各属性のデータソースの信頼性、収集可能性、自動化可能性を評価し、実装パスを決定する。
• 実務家からの反復フィードバックを通じて最終的なマッピングと記述子を検証し、2～3件の主要な不一致について小規模な自動検出スクリプトを開発する。

実験結果

リサーチクエスチョン

• RQ1 公的部門環境におけるAIシステムの導入を妨げる主なコンポーネント不一致のクラスは何か？
• RQ2 実際の検出と防止に用いることができるシステム要素の属性は何か？
• RQ3 構造化された記述子とツールを用いた不一致の自動検出は、どの程度現実的か？
• RQ4 データサイエンティスト、ソフトウェアエンジニア、運用スタッフの間で、不一致を引き起こす主な仮定の違いやコミュニケーションギャップは何か？
• RQ5 標準化された記述子は、ツールチェーン統合を支援し、システムの信頼性を向上させるために、どのように設計できるか？

主な発見

• 特にデータ分布のシフトとインターフェースの不一致は、公的部門におけるAIシステムの失敗の主な要因である。
• 多くの不一致が、データサイエンティスト、ソフトウェアエンジニア、運用スタッフの間で異なるワークフローと暗黙の仮定に起因している。
• 形式的述語条件を用いて不一致を明確に定義・検出可能な、実行可能な属性のセットを同定した。
• 実現可能性分析の結果、同定された属性の60～70％は、最小限のツールを用いて手動または自動で収集可能であり、実用的な統合が可能であることが判明した。
• 小規模なデモでは、カスタムスクリプトを用いて2～3件の不一致を成功裏に検出でき、自動不一致検出の実現可能性が裏付けられた。
• 最終出力には、不一致と属性の検証済みマッピング、記述子用のXMLスキーマ、ツールチェーン統合のための実装例が含まれる。