[논문 리뷰] Research Directions for Developing and Operating Artificial Intelligence Models in Trustworthy Autonomous Systems.

Silverio Martínez‐Fernández, Xavier Franch외 3명|arXiv (Cornell University)|2020. 03. 11.

Ethics and Social Impacts of AI참고 문헌 4인용 수 8

한 줄 요약

이 논문은 자율 시스템(ASs)에서 신뢰할 수 있는 AI 모델의 개발과 운영을 통합하는 통합된 DevOps 프레임워크를 제안하며, 동적이고 불리한 조건에서도 지속적인 진화와 신뢰도 모니터링을 가능하게 한다. 주요 기여는 신뢰성 평가, 민첩한 AI 개발, 운영 피드백 수집, 분산 시스템 간 원활한 배포, 통합된 AI 라이프사이클 관리의 다섯 가지 측면을 다루는 연구 의제이다.

ABSTRACT

Context: Autonomous Systems (ASs) are becoming increasingly pervasive in today's society. One reason lies in the emergence of sophisticated Artificial Intelligence (AI) solutions that boost the ability of ASs to self-adapt in increasingly complex and dynamic environments. Companies dealing with AI models in ASs face several problems, such as users' lack of trust in adverse or unknown conditions, and gaps between systems engineering and AI model development and evolution in a continuously changing operational environment. Objective: This vision paper aims to close the gap between the development and operation of trustworthy AI-based ASs by defining a process that coordinates both activities. Method: We synthesize the main challenges of AI-based ASs in industrial settings. To overcome such challenges, we propose a novel, holistic DevOps approach and reflect on the research efforts required to put it into practice. Results: The approach sets up five critical research directions: (a) a trustworthiness score to monitor operational AI-based ASs and identify self-adaptation needs in critical situations; (b) an integrated agile process for the development and continuous evolution of AI models; (c) an infrastructure for gathering key feedback required to address the trustworthiness of AI models at operation time; (d) continuous and seamless deployment of different context-specific instances of AI models in a distributed setting of ASs; and (e) a holistic and effective DevOps-based lifecycle for AI-based ASs. Conclusions: An approach supporting the continuous delivery of evolving AI models and their operation in ASs under adverse conditions would support companies in increasing users' trust in their products.

연구 동기 및 목표

• 불리하거나 알 수 없는 운영 조건에서 사용자들이 AI 기반 자율 시스템(ASs)에 대해 점점 더 신뢰를 잃는 문제를 해결한다.
• 지속적으로 변화하는 환경에서 시스템 공학과 AI 모델 개발/진화 간 격차를 메운다.
• 신뢰성 있는 상태를 유지하면서 ASs에서 진화하는 AI 모델의 지속적 배포와 운영을 가능하게 한다.
• AI 모델 개발과 런타임 운영을 통합하여 개선된 시스템 신뢰성을 달성하는 조율된 프로세스를 개발한다.
• 산업적 AS 구현에서 신뢰성 있고 적응 가능하며 확장 가능한 AI를 위한 연구 기반 기반을 마련한다.

제안 방법

• 실시간으로 AI 모델 행동을 모니터링하고, 비상 상황에서 자기 적응 필요성을 탐지하기 위해 신뢰성 점수를 도입한다.
• 시스템 공학 관행과 일치하는 지속적인 AI 모델 개발 및 진화를 지원하는 통합된 민첩한 프로세스를 설계한다.
• AI 모델의 신뢰성 평가 및 향상을 위한 핵심 운영 피드백 수집 및 분석을 위한 인프라를 구현한다.
• 분산된 자율 시스템 간에 맥락 기반 AI 모델 인스턴스를 지속적이고 원활하게 배포할 수 있도록 한다.
• ASs에서 AI 모델 개발, 배포, 모니터링, 적응을 통합하는 통합된 DevOps 기반 라이프사이클을 수립한다.
• 시스템 공학 원칙과 AI 라이프사이클 관리를 융합하여 동적이고 적응 가능하며 신뢰할 수 있는 AS 운영을 지원한다.

실험 결과

연구 질문

• RQ1 AI 기반 ASs에서 중요한 운영 이탈을 탐지하기 위해 신뢰성 점수는 어떻게 효과적으로 정의되고 모니터링될 수 있는가?
• RQ2 ASs의 시스템 공학과 일치하는 조건에서 AI 모델의 지속적 진화를 지원하기 위해 필요한 민첩한 개발 프로세스는 무엇인가?
• RQ3 AI 모델의 신뢰성 평가 및 향상을 위한 런타임 평가를 가능하게 하기 위해 필요한 피드백 인프라는 무엇인가?
• RQ4 다양한 맥락 기반 AI 모델 인스턴스는 어떻게 분산된 자율 시스템 간에 지속적이고 원활하게 배포될 수 있는가?
• RQ5 AI 개발과 운영 관리를 통합하여 신뢰할 수 있는 ASs를 위한 통합된 DevOps 라이프사이클 모델은 무엇인가?

주요 결과

• 신뢰성 점수를 통해 AI 모델 행동을 실시간으로 모니터링하고, 중요한 임계값을 초과할 경우 자동으로 자기 적응을 유도할 수 있다.
• 시스템 공학 관행과 일치하는 조건에서 지속적인 진화를 지원하는 통합된 민첩한 AI 모델 개발 프로세스는 동적 환경에서 효과적이다.
• 신뢰성 평가 및 모델 개선에 기여하는 운영 데이터 수집을 위한 전용 피드백 인프라는 필수적이다.
• 통합된 DevOps 파이프라인을 통해 분산된 AS 간 맥락 기반 AI 모델 인스턴스의 원활한 배포가 가능하다.
• AI 기반 ASs를 위한 통합된 DevOps 기반 라이프사이클은 불리한 조건에서도 지속적인 배포, 모니터링, 적응을 가능하게 한다.
• 제안된 프레임워크는 복잡한 운영 시나리오에서 AI 모델이 신뢰성 있고 설명 가능하며 적응 가능하도록 보장함으로써 사용자 신뢰를 향상시킨다.