[论文解读] A Factor-Based Framework for Decision-Making Competency Self-Assessment

Brett Israelsen, Nisar Ahmed|arXiv (Cornell University)|Mar 22, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

该论文提出了一种基于因子的框架 FaMSeC，用于自主智能体通过概率元推理自我评估决策能力。该框架基于任务特定的奖励分布和求解器性能，计算可解释的自我信心分数（如结果难度和求解器质量），从而在无需为每个场景提供专家输入的情况下，生成可靠且人类可理解的信任信号。

ABSTRACT

We summarize our efforts to date in developing a framework for generating succinct human-understandable competency self-assessments in terms of machine self confidence, i.e. a robot's self-trust in its functional abilities to accomplish assigned tasks. Whereas early work explored machine self-confidence in ad hoc ways for niche applications, our Factorized Machine Self-Confidence framework introduces and combines several aspects of probabilistic meta reasoning for algorithmic planning and decision-making under uncertainty to arrive at a novel set of generalizable self-confidence factors, which can support competency assessment for a wide variety of problems.

研究动机与目标

• 为解决自主智能体以可解释且可信的方式自我评估其决策能力，从而便于人类监督者理解的问题。
• 开发一种可泛化的算法框架，用于计算自我信心，而无需为每种可能场景都提供专家标注的信心值。
• 通过为人类监督者提供简洁、可量化的自我评估报告，支持其做出更明智的决策。
• 通过基于概率推理和决策组件的随机元分析，将机器自我信任从临时方法扩展至更坚实的基础。

提出的方法

• 该框架从自主智能体决策流程的核心组件（如规划算法和模型）中计算自我信心因子。
• 使用上偏误矩与下偏误矩（UPM/LPM）比率来量化累积任务奖励超过用户定义的最低可接受阈值的概率，形成结果评估因子（$x_O$）。
• 求解器质量因子（$x_Q$）通过基于历史性能数据训练的代理模型，比较部署求解器与可信的黄金标准求解器的性能。
• 将 $x_O$ 和 $x_Q$ 两者均转换并缩放到标准化范围（例如 [-1, +1]），以增强可解释性与人类理解能力。
• 通过语义结果建模和代理学习，支持框架在非奖励型结果和黑箱世界模型中的泛化。
• 实现在任务执行过程中的自动化、实时自我信心报告，降低对人类专家进行信心赋值的依赖。

实验结果

研究问题

• RQ1 能否设计一种通用的、算法化的框架，在无需为每个场景提供专家输入的情况下，计算出可解释的自我信心分数？
• RQ2 像结果难度（$x_O$）和求解器质量（$x_Q$）这样的自我信心因子，在任务调度中多大程度上能提升人类监督者的绩效？
• RQ3 在多任务环境中，自我信心报告在多大程度上影响人类的信任度与决策速度？
• RQ4 该框架能否扩展至非奖励型结果和基于学习的世界模型？

主要发现

• 在包含 255 名参与者的“人在回路”研究中，引入 FaMSeC 的任一或两个因子（$x_O$ 和 $x_Q$）均显著提升了累计交付得分。
• 自我信心报告对人类监督者自报的信任水平具有较弱但依然积极的影响。
• 自我信心报告的存在对决策时间的影响可忽略不计，表明认知负担极低。
• $x_O$ 因子成功捕捉了任务成功相对于性能阈值的可能性，其取值范围为 -1（完全无信心）至 +1（完全有信心）。
• $x_Q$ 因子通过代理建模有效量化了候选求解器与可信黄金标准求解器之间的相对性能。
• 该框架在涉及自主配送卡车在复杂、不确定环境中运行的真实世界仿真场景中，展现了可行性与实用性。