[論文レビュー] Research Directions for Developing and Operating Artificial Intelligence Models in Trustworthy Autonomous Systems.

Silverio Martínez‐Fernández, Xavier Franch+3 more|arXiv (Cornell University)|Mar 11, 2020

Ethics and Social Impacts of AI参考文献 4被引用数 8

ひとこと要約

本論文は、自律システム（ASs）における信頼性のあるAIモデルの開発と運用を統合する包括的なDevOpsフレームワークを提案し、動的で悪条件下でも継続的進化と信頼性モニタリングを可能にする。主な貢献は、信頼性スコアの評価、アジールAI開発、運用フィードバック収集、分散型システム間でのシームレスなデプロイ、統合的AIライフサイクル管理の5つの柱からなる研究アジェンダである。

ABSTRACT

Context: Autonomous Systems (ASs) are becoming increasingly pervasive in today's society. One reason lies in the emergence of sophisticated Artificial Intelligence (AI) solutions that boost the ability of ASs to self-adapt in increasingly complex and dynamic environments. Companies dealing with AI models in ASs face several problems, such as users' lack of trust in adverse or unknown conditions, and gaps between systems engineering and AI model development and evolution in a continuously changing operational environment. Objective: This vision paper aims to close the gap between the development and operation of trustworthy AI-based ASs by defining a process that coordinates both activities. Method: We synthesize the main challenges of AI-based ASs in industrial settings. To overcome such challenges, we propose a novel, holistic DevOps approach and reflect on the research efforts required to put it into practice. Results: The approach sets up five critical research directions: (a) a trustworthiness score to monitor operational AI-based ASs and identify self-adaptation needs in critical situations; (b) an integrated agile process for the development and continuous evolution of AI models; (c) an infrastructure for gathering key feedback required to address the trustworthiness of AI models at operation time; (d) continuous and seamless deployment of different context-specific instances of AI models in a distributed setting of ASs; and (e) a holistic and effective DevOps-based lifecycle for AI-based ASs. Conclusions: An approach supporting the continuous delivery of evolving AI models and their operation in ASs under adverse conditions would support companies in increasing users' trust in their products.

研究の動機と目的

• 悪条件または未知の運用条件下におけるAIベースの自律システム（ASs）におけるユーザーの信頼欠如の増大という課題に対処する。
• 変化し続ける環境下で、システム工学とAIモデル開発／進化のギャップを埋める。
• 信頼性を維持しながら、ASsにおける進化を続けるAIモデルの継続的デリバリーと運用を可能にする。
• AIモデル開発とランタイム運用を統合するプロセスを整備し、システム信頼性の向上を図る。
• 産業的AS展開における信頼性があり、適応可能でスケーラブルなAIを支える、研究に基づく基盤を確立する。

提案手法

• AIモデルの行動をリアルタイムで監視し、深刻な状況下での自己適応の必要性を検出できる信頼性スコアを導入する。
• システム工学の実践と整合するように設計された、AIモデルの継続的開発と進化を支援する統合的アジールプロセスを構築する。
• AIモデルの信頼性の評価と向上を可能にするために、重要な運用フィードバックを収集・分析するインfraを実装する。
• 分散型自律システムに跨る文脈特化型AIモデルインスタンスの継続的かつシームレスなデプロイを可能にする。
• ASsにおけるAIモデル開発、デプロイ、監視、適応を統合する包括的DevOpsベースのライフサイクルを確立する。
• システム工学の原則とAIライフサイクル管理を統合し、動的で適応可能で信頼性のあるAS運用を支援する。

実験結果

リサーチクエスチョン

• RQ1 AIベースのASsにおいて、深刻な運用的逸脱を検出できるように、信頼性スコアを効果的に定義・監視する方法は何か？
• RQ2 ASsにおけるAIモデルの継続的進化を、システム工学と整合させるために必要なアジール開発プロセスは何か？
• RQ3 ランタイムでの信頼性評価とモデル改善を可能にするために必要なフィードバックインfraは何か？
• RQ4 分散型自律システムに跨る、異なる文脈特化型AIモデルインスタンスを継続的かつシームレスにデプロイする方法は何か？
• RQ5 信頼性のあるASsを実現するため、AI開発と運用管理を統合する包括的DevOpsライフサイクルモデルは何か？

主な発見

• 信頼性スコアにより、AIモデルの行動をリアルタイムで監視でき、重大なしきい値に達した際に自己適応をトリガーできる。
• システム工学の実践と整合する統合的アジールプロセスにより、動的環境下でAIモデルの継続的進化と整合性が確保される。
• 運用データの収集を可能にする専用のフィードバックインfraは、信頼性評価とモデル改善の根拠を提供するために不可欠である。
• 統一されたDevOpsパイプラインを通じて、分散型ASsに跨る文脈特化型AIモデルインスタンスのシームレスなデプロイが実現可能である。
• AIベースのASsにおける包括的DevOpsベースのライフサイクルは、悪条件下でも継続的デリバリー、監視、適応を可能にする。
• 提案されたフレームワークにより、AIモデルが複雑な運用シナリオにおいても信頼性があり、説明可能で適応可能であることを保証し、ユーザーの信頼を向上できる。