[论文解读] Explainable Planning

Maria Fox, Derek Long+1 more|arXiv (Cornell University)|Sep 29, 2017

AI-based Problem Solving and Planning参考文献 26被引用 66

一句话总结

本论文提出可解释规划（XAIP），概述为何可以让规划对用户可解释、规划在解释中的独特优势，以及带有初步结果与示例领域的路线图。

ABSTRACT

As AI is increasingly being adopted into application solutions, the challenge of supporting interaction with humans is becoming more apparent. Partly this is to support integrated working styles, in which humans and intelligent systems cooperate in problem-solving, but also it is a necessary step in the process of building trust as humans migrate greater responsibility to such systems. The challenge is to find effective ways to communicate the foundations of AI-driven behaviour, when the algorithms that drive it are far from transparent to humans. In this paper we consider the opportunities that arise in AI planning, exploiting the model-based representations that form a familiar and common basis for communication with users, while acknowledging the gap between planning algorithms and human problem-solving.

研究动机与目标

• 推动在人工智能与人机交互及信任建立中对可解释AI的需求.
• 识别规划中哪些方面可以解释以及为何与其他AI方法不同.
• 提出一组面向AI规划的可解释性问题（Q1–Q6）。
• 强调有助于解释的规划特征（模型、痕迹、透明度）。
• 概述初步结果、未来方向以及示例领域以指引XAIP的发展。

提出的方法

• 将XAIP作为解释规划决策与计划执行的框架来呈现。
• 讨论解释应回答的问题（例如为什么选择某个动作，为什么未选择其他备选方案）。
• 提出与验证和模型检查工具的集成，以在不同度量下比较计划。
• 描述使用执行痕迹与规划模型（PDDL）来生成便于人类理解的解释。
• 提出解释失败、重新规划需求与不可达性证明（模型检查、STN）的方法论。
• 提供来自行星探测车与水下自主水下载具领域的示例，展示解释在实际中的应用。

实验结果

研究问题

• RQ1 Q1 为什么你要这样做？（解释行动选择及其因果相关性）
• RQ2 Q2 你为什么不做其他事情？（解释备选行动及其影响）
• RQ3 Q3 在特定度量下，你的计划为何比替代方案更高效/更安全/更便宜
• RQ4 Q4 为什么你不能那样做？（解释不可解决性或前提条件/约束失败）
• RQ5 Q5 为什么此时需要重新规划？（解释环境或模型的变化）
• RQ6 Q6 为什么我不需要重新规划？（解释在观测偏差下计划的有效性）

主要发现

• XAIP 认为基于模型的表示使规划者能够为用户提供直观的解释。
• 可解释规划依赖于对领域模型、执行痕迹和生成计划的原因进行沟通，而非原始算法细节。
• 论文概述了一个路线图，包括验证、模型协调以及处理解释、重新规划和不存在性证明的动态情形。
• 两个示例领域（Rover 与 AUV）展示了如何为行动选择、备选方案和重新规划触发提供解释。
• 初步结果表明将解释与验证器、模型检查器集成并利用痕迹来证明执行决策是可行的。
• 作者承认未来需要对在概率性或不确定性规划情境中何为良好解释进行形式化与度量。