[论文解读] Plan Explanations as Model Reconciliation: Moving Beyond Explanation as Soliloquy

Tathagata Chakraborti, Sarath Sreedharan+2 more|arXiv (Cornell University)|Jan 28, 2017

AI-based Problem Solving and Planning参考文献 19被引用 38

一句话总结

本文提出将AI计划解释建模为模型调和（model reconciliation），即AI系统通过更新人类的心理模型使其与自身模型对齐，从而使计划显得最优。本文提出了模型调和问题（MRP），将解释生成形式化为对模型变更的A*搜索，并证明：与完整模型转储相比，最小且完整的解释能显著减少模型差异大小，从而提升可解释性与效率。

ABSTRACT

When AI systems interact with humans in the loop, they are often called on to provide explanations for their plans and behavior. Past work on plan explanations primarily involved the AI system explaining the correctness of its plan and the rationale for its decision in terms of its own model. Such soliloquy is wholly inadequate in most realistic scenarios where the humans have domain and task models that differ significantly from that used by the AI system. We posit that the explanations are best studied in light of these differing models. In particular, we show how explanation can be seen as a "model reconciliation problem" (MRP), where the AI system in effect suggests changes to the human's model, so as to make its plan be optimal with respect to that changed human model. We will study the properties of such explanations, present algorithms for automatically computing them, and evaluate the performance of the algorithms.

研究动机与目标

• 解决传统‘独白式’解释的局限性，即假设人类与AI共享同一模型，而这一假设在真实的人机交互中往往不成立。
• 将解释生成形式化为模型调和问题（MRP），即AI建议对人类模型进行最小修改，使其计划在更新后的模型下成为最优。
• 开发计算高效的算法，以生成满足完备性、简洁性、单调性与可计算性的解释。
• 在基准规划领域评估这些算法的性能，表明最小解释远小于完整的模型差异。
• 探索当人类模型不可直接获取时生成解释的可行性，通过假设其已被学习并以PDDL形式表示。

提出的方法

• 将AI与人类之间的交互形式化为多模型规划设置，其中AI的模型与人类的模型存在差异，导致人类对AI计划的解释不理想。
• 将模型调和问题（MRP）定义为：寻找对人类模型的最小修改，使得AI的计划在更新后的模型下成为最优。
• 提出三种解释类型：最小完备解释（MCE）、最小模型最优解释（MME）和邻近计划解释（PPE），分别通过放松完备性、单调性或可计算性要求以实现可计算性。
• 在模型变更空间上实现A*搜索算法，以计算MCE与MME，使用启发式方法提升搜索效率。
• 使用提升的PDDL表示法执行模型差异与变更操作，支持对模型修改的可扩展搜索。
• 应用定理3通过剪枝非有前途的模型路径，减少MME的搜索空间，将BlocksWorld实验中评估的节点数从2^10 = 1024减少至更小的子集。

实验结果

研究问题

• RQ1 当人类模型与AI模型不同时，AI系统如何生成既有效又高效的解释？
• RQ2 在人机交互背景下，什么样的属性可使解释被认为是有效的？
• RQ3 通过将模型调和形式化为模型修改的搜索问题，能否高效生成解释？
• RQ4 不同解释类型（MCE、MME、PPE）在完备性、大小与计算成本方面如何比较？
• RQ5 启发式近似在多大程度上能减少计算时间而不牺牲解释质量？

主要发现

• MCE与MME解释类型显著更小——约为总模型差异大小的20%，表明最小解释在减少模型不匹配方面极为有效。
• 在MCE搜索中使用启发式方法显著减少了计算时间，在所有基准领域中均体现出可测量的效率提升。
• 近似MCE与精确MCE在大小上非常接近，表明近似策略在保持解释质量的同时提升了可扩展性。
• MME搜索比MCE更昂贵，但两者均远小于完整的模型差异（|MPE|），凸显了最小解释的价值。
• PPE解释虽然计算成本低，但缺乏完备性与单调性，且常包含无关变更，因此效果不如MCE或MME。
• 通过定理3，MME的搜索节点数被大幅减少，从2^10 = 1024减少至更小的子集，验证了剪枝策略的有效性。