[논문 리뷰] Lifelong Testing of Smart Autonomous Systems by Shepherding a Swarm of Watchdog Artificial Intelligence Agents

Hussein A. Abbass, John D. Harvey외 1명|arXiv (Cornell University)|2018. 12. 21.

Human-Automation Interaction and Safety참고 문헌 16인용 수 11

한 줄 요약

이 논문은 수명 주기 동안 지속적으로 스마트 자율 시스템(SAS)을 감시하고 테스트하는 워치독 인공지능(WAI) 에이전트의 군집을 제안한다. 적응형이며 자기 검증 가능한 안전망으로서 WAI 에이전트는 실시간으로 SAS의 행동을 모니터링하고, 윤리적이고 안전한 행동을 이행하며, 고장난 시스템을 정지시킬 수 있어, 동적이고 실세계적인 환경에서 신뢰할 수 있고 진화하는 AI를 가능하게 한다.

ABSTRACT

Artificial Intelligence (AI) technologies could be broadly categorised into Analytics and Autonomy. Analytics focuses on algorithms offering perception, comprehension, and projection of knowledge gleaned from sensorial data. Autonomy revolves around decision making, and influencing and shaping the environment through action production. A smart autonomous system (SAS) combines analytics and autonomy to understand, learn, decide and act autonomously. To be useful, SAS must be trusted and that requires testing. Lifelong learning of a SAS compounds the testing process. In the remote chance that it is possible to fully test and certify the system pre-release, which is theoretically an undecidable problem, it is near impossible to predict the future behaviours that these systems, alone or collectively, will exhibit. While it may be feasible to severely restrict such systems extquoteright \ learning abilities to limit the potential unpredictability of their behaviours, an undesirable consequence may be severely limiting their utility. In this paper, we propose the architecture for a watchdog AI (WAI) agent dedicated to lifelong functional testing of SAS. We further propose system specifications including a level of abstraction whereby humans shepherd a swarm of WAI agents to oversee an ecosystem made of humans and SAS. The discussion extends to the challenges, pros, and cons of the proposed concept.

연구 동기 및 목표

• 지속적으로 학습하고 진화하는 스마트 자율 시스템(SAS)을 테스트하는 데 도전하는 문제를 해결하기 위해, 기존의 사전 릴리스 테스트로는 부족한 상황을 대비한다.
• 정적 검증과 블랙박스 테스트의 한계를 극복하기 위해, SAS 행동의 지속적이고 런타임 검증을 가능하게 한다.
• 시스템 사양이 불완전하고 동적인 사회기술적 환경에서 SAS의 장기적 안전성과 신뢰성을 확보한다.
• SAS 개발과 안전 인증을 분리하기 위해 독립적이고 적응형인 워치독 에이전트를 도입한다.
• 복잡하고 진화하는 자율 시스템을 실시간으로 감시할 수 있는 확장 가능하고 계층적인 아키텍처를 제공한다.

제안 방법

• 스마트 자율 시스템(SAS)을 위한 수명 주기적이고 자율적인 테스팅 에이전트로 기능하는 워치독 인공지능(WAI) 에이전트 아키텍처를 제안한다.
• 생물학적 무리 이끄는 행동—특히 양치기개가 무리를 이끄는 방식—을 모델로 삼아, 한 명의 시니어 WAI 에이전트가 BSSN(행동 안전 및 감시 네트워크) WAI 에이전트의 군집을 감독하도록 설계한다.
• BSSN WAI 에이전트를 적응형이며 보수적이며 검증 가능한 테스터로 구현하여, SAS의 의사결정이 안전성, 윤리성 및 시스템 영향을 고려하도록 모니터링한다.
• 다양한 운영 환경에서의 SAS 행동 평가를 위해 표준화된 실험적 맥락을 사용하여 일관되고 반복 가능한 테스트를 가능하게 한다.
• 내부 상태에 접근할 수 없는 상황에서도, 입력과 출력을 조사함으로써 이전에 알려지지 않은 SAS의 행동 공간을 동적으로 추정할 수 있도록 한다.
• 행동 집합의 조합 복잡성을 관리하면서도, 복잡한 다중 에이전트 SAS 생태계에서의 감시를 확장하기 위해 WAI 에이전트의 계층적 조직을 통합한다.

실험 결과

연구 질문

• RQ1 행동이 시간이 지남에 따라 진화하는 인공지능 시스템은 어떻게 그 수명 주기 전반에 걸쳐 지속적으로 테스트할 수 있는가?
• RQ2 내부 상태나 소스 코드에 접근할 수 없는 상황에서 워치독 에이전트가 자율 시스템을 감시할 수 있는 아키텍처적 및 운영 원칙은 무엇인가?
• RQ3 실시간으로 새로운 알려지지 않은 SAS 행동에 적응하면서도 검증 가능하고 보수적인 행동을 유지할 수 있는 방법은 무엇인가?
• RQ4 작은 행동이 누적되어 장기적으로 해로운 영향을 미칠 수 있는 상황을 탐지하고 완화하기 위해 워치독 에이전트 군집이 사용할 수 있는 메커니즘은 무엇인가?
• RQ5 고속의 계산 기반 워치독 시스템에 인간 감시를 효과적으로 통합할 수 있는 방법은 무엇이며, 이 과정에서 지연이나 일관성 문제를 피할 수 있는가?

주요 결과

• 제안된 WAI 아키텍처는 수명 주기 동안 실시간으로 스마트 자율 시스템(SAS)의 기능을 테스트하기 위해 적응형 행동 모니터링 워치독 에이전트 군집을 배치함으로써 가능하게 한다.
• BSSN WAI 에이전트는 보수적이고 검증 가능한 안전망으로서, SAS의 행동이 사전 정의된 안전성 또는 윤리적 경계를 초과할 경우 조정하거나 정지시킬 수 있다.
• 시스템 개발과 안전 인증을 분리함으로써, SAS 설계자가 자유롭게 혁신할 수 있도록 하면서도 WAI 에이전트가 지속적인 신뢰성을 보장한다.
• 내부 시스템에 접근할 수 없는 상황에서도, 조사와 표준화된 실험 맥락을 통해 이전에 알려지지 않은 SAS의 행동 공간을 워치독 에이전트가 추정할 수 있다.
• WAI 에이전트의 계층적 조직은 복잡한 다중 에이전트 환경에서의 확장성을 지원하지만, 행동 공간의 조합 복잡성 관리에 여전히 과제가 남아 있다.
• 고위험 환경에서는 인간 감시를 위한 시니어 WAI 역할이 필요할 수 있으나, 계산 기반 에이전트와의 속도 및 일관성 격차로 인해 도전 과제가 수반된다.