[논문 리뷰] Explainable AI for Intelligence Augmentation in Multi-Domain Operations

Alun Preece, Dave Braines외 2명|arXiv (Cornell University)|2019. 10. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 6

한 줄 요약

이 논문은 다분야 작전(MDO)에서 지능 강화를 향상시키기 위해 계층적 해석 가능성 AI 프레임워크를 제안하며, AI 결정의 추적 가능성, 정당화, 확신을 통해 신뢰할 수 있는 인간-기계 협업을 가능하게 한다. 이는 밀도 높은 도시 전투와 같은 복잡하고 끊임없이 변화하는 환경에서 신속하고 민첩한 연합 결정보다 지원하는 해석 가능성 AI의 역할을 입증한다.

ABSTRACT

Central to the concept of multi-domain operations (MDO) is the utilization of an intelligence, surveillance, and reconnaissance (ISR) network consisting of overlapping systems of remote and autonomous sensors, and human intelligence, distributed among multiple partners. Realising this concept requires advancement in both artificial intelligence (AI) for improved distributed data analytics and intelligence augmentation (IA) for improved human-machine cognition. The contribution of this paper is threefold: (1) we map the coalition situational understanding (CSU) concept to MDO ISR requirements, paying particular attention to the need for assured and explainable AI to allow robust human-machine decision-making where assets are distributed among multiple partners; (2) we present illustrative vignettes for AI and IA in MDO ISR, including human-machine teaming, dense urban terrain analysis, and enhanced asset interoperability; (3) we appraise the state-of-the-art in explainable AI in relation to the vignettes with a focus on human-machine collaboration to achieve more rapid and agile coalition decision-making. The union of these three elements is intended to show the potential value of a CSU approach in the context of MDO ISR, grounded in three distinct use cases, highlighting how the need for explainability in the multi-partner coalition setting is key.

연구 동기 및 목표

• 다양한 파artner가 참여하는 분산된 다분야 작전(MDO) 환경에서 동적인, 끊임없이 변화하는 환경에서 강건하고 해석 가능한 AI를 달성하는 데 도전하는 문제를 해결한다.
• 해석 가능성에 중점을 두어 AI 기반 데이터 분석과 인간의 의사결정 간 격차를 메우며, AI 출력에 대한 신뢰와 자신감을 구축한다.
• 다양한 연합, 기관 간, 다국적 팀 간에 신속하고 민첩하며 상호운용 가능한 의사결정을 지원하는 설명 가능성 AI를 통해 연합 상황 인식(CSU)을 가능하게 한다.
• 시스템 운영자, 의사결정자, 감사자 등 다양한 이해관계자에게 맞춤형으로 설계된 계층적 설명 프레임워크를 개발하여 투명성, 정당화, 정책 일치를 보장한다.
• 실제 MDO 응용 사례에서 설명 가능성 AI의 실용적 가치를 입증한다: 인간-기계 협업, 밀도 높은 도시 지형 분석, 자원 간 상호운용성 향상

제안 방법

• 3단계 설명 프레임워크 제안: 1단계(추적 가능성)는 모델 입력을 내부 상태로 매핑; 2단계(정당화)는 입력과 출력 간 의미적 연결 제공; 3단계(확신)는 정책 및 온톨로지 제약 조건에 따라 결정을 검증.
• 영상, 음성, 센서 데이터 등 다양한 모odalities를 통합하여 AI 처리 파이프라인을 구성하여, 예를 들어 폭력으로 오해될 수 있는 의식적 춤을 포함한 이례적 사건을 탐지.
• 해석 가능성 AI 기법을 활용해 영상 및 음성 스트림에서 주목할 만한 시공간적 특징을 식별하여, 맥락 인식 기반 융합을 통해 위협이 되지 않는 행동을 탐지.
• 불확실성 인식 방법을 적용하여 반사적 상황(예: 폭력적 행동 대비 의식적 행동)을 평가함으로써 AI 기반 결정에 대한 신뢰도 향상.
• 수신자 요구에 따라 동적으로 풀어낼 수 있는 복합 설명 개체를 설계하여, 운영자, 분석가, 감사자 등 다양한 대상에 맞춤형 설명 제공.
• 인간이 끼어드는 모델을 구현하여 AI가 이례적 행동을 탐지하고 증거를 인간 전문가에게 제시함으로써 문화 지식을 활용해 모호성을 해결.

실험 결과

연구 질문

• RQ1 다양한 파artner가 참여하는 분산된 자원을 갖춘 다분야 작전 환경에서 인간-기계 협업의 신뢰성을 확보하기 위해 설명 가능성 AI는 어떻게 계층적으로 구성될 수 있는가?
• RQ2 다양한 이해관계자(예: 운영자, 의사결정자, 감사자)의 추적 가능성, 정당화, 확신을 지원하는 데 가장 효과적인 계층적 설명 프레임워크는 무엇인가?
• RQ3 해석 가능성 AI는 제한된 데이터와 높은 불확실성이 존재하는 고위험, 끊임없이 변화하는 환경(예: 밀도 높은 도시 지형)에서 상황 인식을 어떻게 향상시킬 수 있는가?
• RQ4 해석 가능성 AI는 공동, 기관 간, 다국적 작전에서 의사결정의 민첩성과 상호운용성을 어떻게 향상시키는가?
• RQ5 AI 시스템은 상징적(인간) 및 비상징적(기계) 에이전트 양쪽 모두에게 효과적으로 통찰을 전달하여 지속적인 학습과 협업을 어떻게 가능하게 하는가?

주요 결과

• 계층적 설명 프레임워크는 주목할 만한 시각적 및 청각적 특징을 식별하여 모델 결정과 연결함으로써 추적 가능성 지원에 성공하여 사후 정당화를 감소시켰다.
• 정당화 계층은 영상 및 음성 데이터의 맥락 융합을 통해 이례적 행동을 위협이 되지 않는 의식적 활동으로 의미적으로 해석할 수 있도록 했다.
• 확신 계층은 정책 및 온톨로지 제약 조건, 특히 반사적 추론을 포함하여 비폭력적 해석이 강건하고 정당화 가능하다는 것을 검증했다.
• 인간-기계 협업은 AI 탐지 기술과 인간의 문화 전문 지식을 융합함으로써, 예를 들어 의식적 춤과 폭력 행동을 구분하는 모호한 상황에서 의사결정 정확도를 크게 향상시켰다.
• 해석 가능성 AI를 연합 ISR 시스템에 통합함으로써 불확실성 하에서 더 빠르고 자신감 있는 의사결정을 가능하게 하여 운영의 민첩성을 향상시켰다.
• 복합 설명 개체는 이해관계자별로 동적으로 설명에 접근할 수 있도록 하여, 현장 운영자에서 감사자에 이르기까지 다양한 역할을 지원하면서도 투명성을 유지했다.