[论文解读] Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach

Giulio Mazzi, Alberto Castellini+1 more|arXiv (Cornell University)|Dec 23, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 4

一句话总结

该论文提出了一种基于规则、由SMT驱动的方法，通过分析信念-动作-观测轨迹来检测POMCP策略中的意外决策。通过使用可调参数的形式化专家提供的逻辑规则，并求解MAX-SMT问题，该方法识别出策略与预期行为的偏差，在AUC指标上相比最先进异常检测方法最高提升了47%。

ABSTRACT

Partially Observable Monte-Carlo Planning (POMCP) is a powerful online algorithm able to generate approximate policies for large Partially Observable Markov Decision Processes. The online nature of this method supports scalability by avoiding complete policy representation. The lack of an explicit representation however hinders interpretability. In this work, we propose a methodology based on Satisfiability Modulo Theory (SMT) for analyzing POMCP policies by inspecting their traces, namely sequences of belief-action-observation triplets generated by the algorithm. The proposed method explores local properties of policy behavior to identify unexpected decisions. We propose an iterative process of trace analysis consisting of three main steps, i) the definition of a question by means of a parametric logical formula describing (probabilistic) relationships between beliefs and actions, ii) the generation of an answer by computing the parameters of the logical formula that maximize the number of satisfied clauses (solving a MAX-SMT problem), iii) the analysis of the generated logical formula and the related decision boundaries for identifying unexpected decisions made by POMCP with respect to the original question. We evaluate our approach on Tiger, a standard benchmark for POMDPs, and a real-world problem related to mobile robot navigation. Results show that the approach can exploit human knowledge on the domain, outperforming state-of-the-art anomaly detection methods in identifying unexpected decisions. An improvement of the Area Under Curve up to 47\% has been achieved in our tests.

研究动机与目标

• 为解决在线POMCP策略因采用隐式信念表示而缺乏可解释性的问题。
• 使人类专家能够检测违反其领域假设的策略行为，尤其在安全关键型机器人应用中。
• 开发一种可扩展的迭代方法，用于识别POMCP轨迹中的异常决策，而无需重新训练完整策略。
• 通过将人类提供的逻辑约束整合到分析过程中，超越现有异常检测方法。
• 提供可解释的决策边界，以明确指出POMCP何时以及为何偏离专家预期。

提出的方法

• 该方法使用参数化逻辑公式（称为规则模板），表达专家对预期智能体行为的知识（例如，'仅当对拥堵路径的信念较低时才应快速移动'）。
• 通过MAX-SMT求解器分析POMCP执行生成的信念-动作-观测三元组轨迹，以实例化规则参数，最大化满足的子句数量。
• 将参数调优任务形式化为MAX-SMT问题，当规则无法完全满足时仍可获得近似解。
• 利用优化后规则导出的决策边界，基于信念状态将策略决策分类为预期或意外。
• 使用Hellinger距离量化信念状态与规则边界之间的差异，辅助异常排序。
• 该过程为迭代式：专家根据识别出的异常改进规则，实现对策略行为的局部探索。

实验结果

研究问题

• RQ1 基于规则、由SMT驱动的方法是否能比最先进异常检测方法更有效地检测POMCP策略中的意外决策？
• RQ2 如何将专家提供的关于智能体行为的定性假设形式化，并利用轨迹数据进行定量验证？
• RQ3 在分析中整合人类知识在多大程度上能提升策略异常的可解释性与检测准确性？
• RQ4 从学习规则中导出的决策边界与实际策略决策相比，在信念状态分布和异常检测性能方面表现如何？
• RQ5 当策略存在轻微偏离但未完全违反规则时，该方法是否仍能识别并排序异常？

主要发现

• 在检测POMCP策略中的意外决策时，所提方法相比最先进异常检测方法，AUC最高提升了47%。
• 在速度调节任务中，奖励参数被故意配置错误（W=90）时，该方法正确识别出3500个决策中的4个为意外，全部经专家分析确认为异常。
• 即使信念状态接近均匀分布（例如，p0≈p1≈p2≈0.33），该方法仍能检测到意外决策，表明在信息量低但决策错误的情况下仍具高置信度。
• t-SNE可视化显示，意外决策在信念空间中通常孤立存在，尤其是那些与规则边界Hellinger距离较高的决策，证实了异常的空间一致性。
• 该方法在Tiger基准任务中成功识别出4个异常，在机器人导航任务中也识别出4个异常，所有异常均与专家预期一致，并且偏离了规则模板。
• MAX-SMT形式化使得即使规则模板无法完全满足，也能实现稳健的参数估计，从而在真实策略轨迹中实现有效的异常检测。