[论文解读] Domain-Level Explainability -- A Challenge for Creating Trust in Superhuman AI Strategies

Jonas Andrulis, Ole Meyer+3 more|arXiv (Cornell University)|Nov 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用 4

一句话总结

本文主张，对于从深度强化学习（DRL）衍生的超人类AI策略而言，领域级可解释性在复杂、现实的战略环境中对于建立信任至关重要。文章指出，当前的XAI方法无法提供有意义且专家可理解的、关于反直觉DRL策略的解释，并呼吁开发基于战略推理、情景规划和不确定性建模的新可解释性框架，以使人类专家能够理解并信任超人类AI的决策。

ABSTRACT

For strategic problems, intelligent systems based on Deep Reinforcement Learning (DRL) have demonstrated an impressive ability to learn advanced solutions that can go far beyond human capabilities, especially when dealing with complex scenarios. While this creates new opportunities for the development of intelligent assistance systems with groundbreaking functionalities, applying this technology to real-world problems carries significant risks and therefore requires trust in their transparency and reliability. With superhuman strategies being non-intuitive and complex by definition and real-world scenarios prohibiting a reliable performance evaluation, the key components for trust in these systems are difficult to achieve. Explainable AI (XAI) has successfully increased transparency for modern AI systems through a variety of measures, however, XAI research has not yet provided approaches enabling domain level insights for expert users in strategic situations. In this paper, we discuss the existence of superhuman DRL-based strategies, their properties, the requirements and challenges for transforming them into real-world environments, and the implications for trust through explainability as a key technology.

研究动机与目标

• 识别在复杂、现实的战略环境中解释超人类DRL策略的核心挑战。
• 论证当前的XAI方法不足以向非技术专家提供领域级透明度。
• 提出必须将战略可解释性——聚焦于未来预测、假设情景、风险与不确定性——整合到DRL系统中，以实现信任。
• 弥合技术AI可解释性与领域特定战略理解之间的差距，以服务专家用户。
• 倡导将既有的战略建模工具（例如情景规划）适配至DRL代理的XAI框架中。

提出的方法

• 通过七个核心挑战（C1–C7）分析DRL代理的战略复杂性，包括时空推理、协作、不确定性、资源管理、对手建模、对抗性规划以及大规模状态/动作空间。
• 将这些挑战映射到战略可解释性的四个关键维度（E1–E4）：未来预测、假设情景、风险与安全、模型不确定性。
• 提出领域级可解释性必须超越输入-输出解释，转而以非技术领域专家可理解的方式建模战略推理。
• 借鉴情景规划方法论，作为设计可解释AI系统的基础，以模拟未来状态和“如果-那么”结果。
• 强调XAI系统需量化不确定性并检测分布外样本，以提升透明度与安全性。
• 倡导将可解释性工具直接集成到AI代理中，使其可被专家用于验证和建立信任。

实验结果

研究问题

• RQ1 如何增强DRL系统的可解释性，以支持领域专家理解复杂战略环境中反直觉的超人类策略？
• RQ2 当前XAI方法在为DRL驱动的战略决策提供有意义的领域级解释时，面临哪些关键的结构性与认知性障碍？
• RQ3 既有的战略建模技术（如情景规划）在何种方式下可被适配，以实现DRL代理在现实应用中的可解释性？
• RQ4 可解释性系统如何以兼具定量严谨性与直观可解释性的方式，处理不确定性、风险与假设性未来状态？
• RQ5 当经验验证不可行时，信任超人类AI策略的必要条件是什么？可解释性如何在其中发挥作用？

主要发现

• 当前的XAI方法，包括事后解释模型，无法保留超人类DRL策略的战略复杂性，尤其是在为可解释性而简化时。
• 超人类DRL策略本质上是非直觉的，仅靠标准的输入-输出或对比性解释技术无法有意义地解释。
• 领域级可解释性必须应对七个核心战略挑战：时空推理、协作、不确定性下的决策、资源管理、对手建模、对抗性规划以及大规模状态/动作空间。
• 最具前景的前进路径是将情景规划工具适配至DRL可解释性中，以实现未来预测（E1）、假设情景分析（E2）、风险量化（E3）和不确定性建模（E4）。
• 迫切需要上下文感知、用户自适应的可解释性框架，能够超越即时动作，表征长期战略推理。
• 若缺乏领域级战略可解释性，即使DRL系统在复杂现实场景中表现优于人类专家，也无法建立信任。