[论文解读] Explainable AI for Intelligence Augmentation in Multi-Domain Operations

Alun Preece, Dave Braines+2 more|arXiv (Cornell University)|Oct 16, 2019

Explainable Artificial Intelligence (XAI)参考文献 23被引用 6

一句话总结

本文提出了一种分层可解释人工智能框架，以增强多域作战中的智能增强能力，通过可追溯性、合理性说明和保障机制，实现可信的人机协同。该框架展示了可解释人工智能如何在复杂、对抗性环境（如密集城市作战）中支持快速、敏捷的联盟决策。

ABSTRACT

Central to the concept of multi-domain operations (MDO) is the utilization of an intelligence, surveillance, and reconnaissance (ISR) network consisting of overlapping systems of remote and autonomous sensors, and human intelligence, distributed among multiple partners. Realising this concept requires advancement in both artificial intelligence (AI) for improved distributed data analytics and intelligence augmentation (IA) for improved human-machine cognition. The contribution of this paper is threefold: (1) we map the coalition situational understanding (CSU) concept to MDO ISR requirements, paying particular attention to the need for assured and explainable AI to allow robust human-machine decision-making where assets are distributed among multiple partners; (2) we present illustrative vignettes for AI and IA in MDO ISR, including human-machine teaming, dense urban terrain analysis, and enhanced asset interoperability; (3) we appraise the state-of-the-art in explainable AI in relation to the vignettes with a focus on human-machine collaboration to achieve more rapid and agile coalition decision-making. The union of these three elements is intended to show the potential value of a CSU approach in the context of MDO ISR, grounded in three distinct use cases, highlighting how the need for explainability in the multi-partner coalition setting is key.

研究动机与目标

• 解决在分布式、多伙伴情报监视侦察（ISR）系统面临动态、对抗性环境的多域作战（MDO）中实现稳健、可解释人工智能的挑战。
• 通过强调可解释性，弥合人工智能驱动的数据分析与人类决策之间的鸿沟，以建立对人工智能输出的信任与信心。
• 通过支持快速、敏捷且互操作的决策，实现联盟态势感知（CSU），从而实现跨联合、跨机构和跨国团队的可解释人工智能。
• 开发一种针对不同利益相关者（系统操作员、决策者、审计员）量身定制的分层解释框架，确保透明性、合理性说明和政策一致性。
• 在真实多域作战用例中展示可解释人工智能的实际价值：人机协同、密集城市地形分析以及增强资产互操作性。

提出的方法

• 提出一个三层解释框架：第1层（可追溯性）将模型输入映射到内部状态；第2层（合理性说明）在输入与输出之间建立语义关联；第3层（保障）依据政策和本体约束验证决策。
• 将多种模态（视频、音频、传感器数据）整合到统一的人工智能处理管道中，以检测异常事件，例如将仪式性舞蹈误判为暴力行为。
• 使用可解释人工智能技术识别视频和音频流中的显著时空特征，通过上下文感知融合实现对非威胁性行为的检测。
• 应用不确定性感知方法评估反事实情形（例如暴力行为与仪式性动作的对比），以增强对人工智能支持决策的信心。
• 设计一种复合解释对象，将分层解释打包，根据接收者需求动态展开——例如操作员、分析师、审计员。
• 实施人机协同模型，其中人工智能标记异常并呈现证据给人类专家，利用文化知识解决歧义。

实验结果

研究问题

• RQ1 如何构建可解释人工智能，以支持在分布式、多伙伴资产参与的多域作战中实现可信的人机协同？
• RQ2 何种分层解释框架最能支持联盟ISR环境中不同利益相关者的可追溯性、合理性说明和保障？
• RQ3 可解释人工智能如何在数据有限、不确定性高的高风险对抗性环境（如密集城市地形）中提升态势感知能力？
• RQ4 可解释人工智能在多域作战中如何提升决策敏捷性与互操作性，特别是在联合、跨机构和跨国团队中的应用？
• RQ5 人工智能系统如何有效向符号化（人类）和非符号化（机器）代理传达洞察，以实现持续学习与协作？

主要发现

• 分层解释框架通过识别与模型决策相关的显著视觉和音频特征，成功支持可追溯性，减少了事后合理化现象。
• 合理性说明层通过融合上下文音频与视频数据，能够将异常行为语义解释为非威胁性的仪式活动。
• 保障层整合了政策和本体约束，包括反事实推理，以验证非暴力解释的稳健性与可辩护性。
• 人机协同显著提升了在模糊情境（如区分仪式性舞蹈与暴力行为）下的决策准确性，结合人工智能检测与人类文化专长。
• 将可解释人工智能集成到联盟ISR系统中，通过在不确定性下实现更快、更自信的决策，提升了作战敏捷性。
• 复合解释对象实现了根据利益相关者需求动态访问解释，支持从一线操作员到审计员的多样化角色，同时不损害透明性。