[논문 리뷰] Explainable Interface for Human-Autonomy Teaming: A Survey

Xiangqi Kong, Yang Xing외 5명|arXiv (Cornell University)|2024. 05. 04.

Business Process Modeling and Analysis인용 수 6

한 줄 요약

인간-자율 협업을 위한 Explainable Interface(EI) 프레임워크를 제안하는 포괄적 연구로, 인간 중심 XAI 관점에서 개념, 아키텍처, 평가를 명확히 한다.

ABSTRACT

Nowadays, large-scale foundation models are being increasingly integrated into numerous safety-critical applications, including human-autonomy teaming (HAT) within transportation, medical, and defence domains. Consequently, the inherent 'black-box' nature of these sophisticated deep neural networks heightens the significance of fostering mutual understanding and trust between humans and autonomous systems. To tackle the transparency challenges in HAT, this paper conducts a thoughtful study on the underexplored domain of Explainable Interface (EI) in HAT systems from a human-centric perspective, thereby enriching the existing body of research in Explainable Artificial Intelligence (XAI). We explore the design, development, and evaluation of EI within XAI-enhanced HAT systems. To do so, we first clarify the distinctions between these concepts: EI, explanations and model explainability, aiming to provide researchers and practitioners with a structured understanding. Second, we contribute to a novel framework for EI, addressing the unique challenges in HAT. Last, our summarized evaluation framework for ongoing EI offers a holistic perspective, encompassing model performance, human-centered factors, and group task objectives. Based on extensive surveys across XAI, HAT, psychology, and Human-Computer Interaction (HCI), this review offers multiple novel insights into incorporating XAI into HAT systems and outlines future directions.

연구 동기 및 목표

• HAT에서 설명가능한 인터페이스, 설명 및 모델 설명가능성 간의 구분을 명확히 한다.
• 작업 및 경험 지향 관점을 포괄하는 EI의 설계 지향 프레임워크를 HAT 내에 도입한다.
• LLM 기반 설명 생성을 포함하여 모델 설명가능성을 향상시키는 방법을 요약한다.
• 모델 성능, 인간 요인, 집단 성능을 포함하는 EI-HAT 평가 프레임워크를 제안한다.
• 다양한 도메인에서 EI를 HAT에 통합하기 위한 과제와 향후 방향을 개요한다.

제안 방법

• 사전 모델링, 모델 설계, 사후 모델링 단계에 걸친 단계 기반 모델 설명가능성 프레임워크를 제안한다.
• XAI, HAT, 심리학, HCI에 관한 문헌을 검토하고 종합하여 EI-HAT 개념을 확립한다.
• 인터페이스, 기능 모듈, 지원 시스템, 인간-자율 루프를 포함하는 EI-HAT 아키텍처를 제시한다.
• 사용자 중심 자동화, 투명성, 예측가능성, 상호 이해 등 설계 원칙을 논의한다.
• EI-HAT 내에서 LLM을 설명 생성에 활용하는 방법을 설명한다.]

Figure 1. Design Approach for Explainable Interface enhanced Human-Autonomy Teaming.

실험 결과

연구 질문

• RQ1 HAT에서 설명가능한 인터페이스, 설명, 모델 설명가능성의 본질적 구분과 역할은 무엇인가?
• RQ2 작업 및 경험 지향 목표를 다루는 실용적인 EI-HAT 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 사전 모델링, 설계, 사후 모델링 단계 전반에서 해석 가능하고 신뢰할 수 있는 설명을 가장 잘 지원하는 방법과 단계는 무엇인가?
• RQ4 EI-HAT에 적합한 평가 접근법(모델 기반, 인간 중심, 협업 과제 중심)은 무엇인가?
• RQ5 의료, 교통, 디지털 트윈 분야에서 EI를 HAT에 통합하기 위한 과제와 향후 방향은 무엇인가?

주요 결과

• EI-HAT은 인간과 자율 에이전트 간의 이해, 소통 및 조율을 향상시킬 수 있다.
• 구조화된 단계 기반 설명가능성 프레임워크가 데이터 준비, 모델 설계 및 사후 설명을 안내할 수 있다.
• 고유의 해석 가능성 및 설명가능성 방법은 단계별로 선택되어야 하며, 설명 생성에 LLM이 도움을 준다.
• 인간-자율 루프와 다중모달 설명을 갖춘 아키텍처는 상호 이해와 신뢰를 뒷받침한다.
• 이해관계자의 요구와 규제 고려사항(GDPR, RMF 등)이 EI-HAT 설계 및 평가에 영향을 미친다.
• 향후 EI-HAT 연구는 통합 용어, 설계 지침, 도메인 간 적용 가능성을 다루어야 한다.

Figure 2. Clarification of Model Explainability, Explanations, Explainable Interfaces.