[論文レビュー] Explainable Interface for Human-Autonomy Teaming: A Survey

Xiangqi Kong, Yang Xing+5 more|arXiv (Cornell University)|May 4, 2024

Business Process Modeling and Analysis被引用数 6

ひとこと要約

人間と自律エージェントの協働のためのExplainable Interface (EI) フレームワークを提案する網羅的な調査で、概念、アーキテクチャ、評価を人間中心のXAIの視点から明確化する。

ABSTRACT

Nowadays, large-scale foundation models are being increasingly integrated into numerous safety-critical applications, including human-autonomy teaming (HAT) within transportation, medical, and defence domains. Consequently, the inherent 'black-box' nature of these sophisticated deep neural networks heightens the significance of fostering mutual understanding and trust between humans and autonomous systems. To tackle the transparency challenges in HAT, this paper conducts a thoughtful study on the underexplored domain of Explainable Interface (EI) in HAT systems from a human-centric perspective, thereby enriching the existing body of research in Explainable Artificial Intelligence (XAI). We explore the design, development, and evaluation of EI within XAI-enhanced HAT systems. To do so, we first clarify the distinctions between these concepts: EI, explanations and model explainability, aiming to provide researchers and practitioners with a structured understanding. Second, we contribute to a novel framework for EI, addressing the unique challenges in HAT. Last, our summarized evaluation framework for ongoing EI offers a holistic perspective, encompassing model performance, human-centered factors, and group task objectives. Based on extensive surveys across XAI, HAT, psychology, and Human-Computer Interaction (HCI), this review offers multiple novel insights into incorporating XAI into HAT systems and outlines future directions.

研究の動機と目的

• HATにおける explainable interface、explanations、および model explainability の区別を明確にする。
• タスク指向および体験指向の視点を網羅する、HAT内のEIの設計志向フレームワークを導入する。
• LLMベースの説明生成を含む、モデルの説明可能性を高める方法を要約する。
• モデル性能、人間要因、およびグループ性能を含む EI-HAT の評価フレームワークを提案する。
• 領域横断的にEIをHATへ統合する際の課題と今後の方向性を概説する。

提案手法

• 前モデル化、モデル設計、後モデル化の段階を跨ぐ、ステージ型の model explainability フレームワークを提案する。
• EI-HAT の概念を基盤づけるため、XAI、HAT、心理学、HCI に関する文献をレビュー・統合する。
• インターフェース、機能モジュール、サポートシステム、ヒューマン-オートノミー・ループを含むEI-HATのアーキテクチャを提示する。
• ユーザー中心の自動化、透明性、予測可能性、相互理解などの設計原則を論じる。
• EI-HAT内で説明生成のためにLLMsを活用する方法を説明する。

Figure 1. Design Approach for Explainable Interface enhanced Human-Autonomy Teaming.

実験結果

リサーチクエスチョン

• RQ1 HATにおける explainable interface、explanations、および model explainability の本質的な区別と役割は何か。
• RQ2 タスク指向および体験指向の目的に対処する実践的なEI-HATフレームワークはどのように設計できるか。
• RQ3 前モデル化、設計、後モデル化の各段階で、解釈可能で信頼できる説明を支援する最良の方法と段階は何か。
• RQ4 EI-HATに適した評価アプローチ（モデルベース、ヒューマン中心、協働タスク重視）は何か。
• RQ5 医療、交通、およびデジタルツイン分野を横断するEIをHATへ統合する際の課題と今後の方向性は何か。

主な発見

• EI-HAT は、人間と自律エージェント間の理解、コミュニケーション、協調を向上させることができる。
• 構造化されたステージ型の説明可能性フレームワークは、データ準備、モデル設計、事後説明を導くことができる。
• 固有の解釈可能性と説明可能性の手法は各段階ごとに選択すべきであり、説明生成にはLLMsが支援する。
• 人間-自動ループと多模態の説明を備えたアーキテクチャは、相互理解と信頼を支援する。
• 利害関係者のニーズと規制上の配慮（例: GDPR、RMF）はEI-HATの設計と評価に影響を与える。
• 将来のEI-HAT研究は、統一された用語、設計ガイドライン、および分野横断的適用性に取り組むべきである。

Figure 2. Clarification of Model Explainability, Explanations, Explainable Interfaces.