[論文レビュー] Priority Quality Attributes for Engineering AI-enabled Systems

Lena Pons, İpek Özkaya|arXiv (Cornell University)|Oct 15, 2019

Manufacturing Process and Optimization参考文献 4被引用数 8

ひとこと要約

本論文は、公的分野、特に医療分野におけるAIを支援するシステムの設計において、セキュリティ、プライバシー、データ中心性、持続可能性、説明可能性が優先される品質特性であると提唱している。これらの特性は、データ依存性、モデルのずれ、敵対的攻撃からのリスクを管理するため、システムアーキテクチャに体系的に統合される必要があり、きめ細やかなAI工学的手法を通じて信頼性があり、監査可能で、規制遵守可能なAIシステムを実現する。

ABSTRACT

Deploying successful software-reliant systems that address their mission goals and user needs within cost, resource, and expected quality constraints require design trade-offs. These trade-offs dictate how systems are structured and how they behave and consequently can effectively be evolved and sustained. Software engineering practices address this challenge by centering system design and evolution around delivering key quality attributes, such as security, privacy, data centricity, sustainability, and explainability. These concerns are more urgent requirements for software-reliant systems that also include AI components due to the uncertainty introduced by data elements. Moreover, systems employed by the public sector exhibit unique design time and runtime challenges due to the regulatory nature of the domains. We assert that the quality attributes of security, privacy, data centricity, sustainability, and explainability pose new challenges to AI engineering and will drive the success of AI-enabled systems in the public sector. In this position paper, we enumerate with examples from healthcare domain concerns related to these requirements to mitigate barriers to architecting and fielding AI-enabled systems in the public sector.

研究の動機と目的

• 医療分野を含む公的分野における、信頼性があり、安全で、規制遵守可能なAIシステムを導入するという増大する課題に対処すること。
• データ依存性、モデルの不確実性、敵対的脅威に起因するリスクを低減するための品質特性を特定・優先順位付けすること。
• ミッションクリティカルな品質特性とソフトウェアアーキテクチャを一致させることで、規制の期待と技術的現実のギャップを埋めること。
• システムの信頼性と規制遵守を保証するため、アーキテクチャ設計と検証可能な品質特性に基づくAI工学的手法を提唱すること。

提案手法

• セキュリティ、プライバシー、データ中心性、持続可能性、説明可能性という5つの優先品質特性に焦点を当てたフレームワークを提唱する。
• 医療分野、特に医療機器としてのソフトウェア（SaMD）の事例研究を通じて、実世界の課題と設計への影響を提示する。
• 依存関係の分析、攻撃表面の特定、多視点的システム分析を支援するため、アーキテクチャモデリングの重要性を強調する。
• 特に規制制約下でも、データとアルゴリズムを分離することで、セキュリティ、プライバシー、保守性を向上させることを提唱する。
• ソフトウェア工学の原則と、モデルのずれ、データ分布の変化、敵対的例といったAI固有の懸念事項を統合する。
• 規制、技術的専門性、ドメイン知識を統一するため、標準化された用語と再現可能な実践を導入するよう要請する。

実験結果

リサーチクエスチョン

• RQ1 データとモデルの脆弱性が顕著であるAIシステムにおいて、セキュリティとプライバシーを体系的かつ確実に確保する方法は何か？
• RQ2 変化するデータ分布にわたってシステムの整合性を保つために、データ中心のリスクを管理するためのアーキテクチャパターンと設計原則は何か？
• RQ3 説明可能性と持続可能性をAIシステム設計に統合するには、どのような方法があるか？これは、規制要件と長期的な運用要件を満たすために不可欠である。
• RQ4 伝統的なソフトウェア工学的手法は、特に公的分野のシステムにおいて、AIコンponentが引き起こす新規リスクをどのように不十分に扱っているか？
• RQ5 品質特性をAIシステムでどのように定量化・検証できるか？これは、規制の執行とステークホルダーの信頼を支えるために重要である。

主な発見

• AIシステムにおけるセキュリティとプライバシーは、データ処理と深く結びついており、データ中心の設計によって従来の抽象境界が曇り、攻撃表面が拡大する。
• データ、トレーニング済みモデル、デプロイドモデルの間のずれや不整合は、システム障害や誤った推論を引き起こし、高額なコストを生じる。
• 法的、統計的、ソフトウェア工学的分野間の共通理解の欠如により、規制当局はAIシステムの評価に困難を抱えている。
• 現在のプライバシー保護技術、例えば同型暗号化は、実用的なAIシステムでは計算コストが高いため、しばしば不適切である。
• FDAが「ロックされた」アルゴリズム—決定論的かつ変更不可な—を好むことから、規制基準を満たすために、より予測可能で検証可能なAIシステムの必要性が浮き彫りになる。
• アーキテクチャモデリングは、横断的課題を分析し、AIシステムのリスクと挙動を多視点で分析可能にするために不可欠である。