[论文解读] How Should a Robot Assess Risk? Towards an Axiomatic Theory of Risk in Robotics

Anirudha Majumdar, Marco Pavone|arXiv (Cornell University)|Oct 30, 2017

Risk and Safety Analysis被引用 9

一句话总结

本文提出了一套用于机器人风险评估的公理化框架，倡导采用受金融领域启发的扭曲风险度量作为理性、可信的风险量化工具。该框架确立了理性风险评估的公理，通过复合单步度量实现序列决策中的时间一致性，并识别出扭曲风险度量为一个具有原则性的类别，能够在风险敏感性与可解释性之间取得平衡。

ABSTRACT

Endowing robots with the capability of assessing risk and making risk-aware decisions is widely considered a key step toward ensuring safety for robots operating under uncertainty. But, how should a robot quantify risk? A natural and common approach is to consider the framework whereby costs are assigned to stochastic outcomes - an assignment captured by a cost random variable. Quantifying risk then corresponds to evaluating a risk metric, i.e., a mapping from the cost random variable to a real number. Yet, the question of what constitutes a "good" risk metric has received little attention within the robotics community. The goal of this paper is to explore and partially address this question by advocating axioms that risk metrics in robotics applications should satisfy in order to be employed as rational assessments of risk. We discuss general representation theorems that precisely characterize the class of metrics that satisfy these axioms (referred to as distortion risk metrics), and provide instantiations that can be used in applications. We further discuss pitfalls of commonly used risk metrics in robotics, and discuss additional properties that one must consider in sequential decision making tasks. Our hope is that the ideas presented here will lead to a foundational framework for quantifying risk (and hence safety) in robotics applications.

研究动机与目标

• 建立机器人风险评估的系统性、公理化基础，以解决当前在选择风险度量时缺乏理论依据的问题。
• 识别风险度量必须满足的属性（公理），以确保其在安全关键型机器人应用中被视为理性和可信。
• 证明扭曲风险度量满足这些公理，并为机器人领域提供一个数学上严谨的风险度量类别。
• 通过展示复合扭曲风险度量在时间上保持一致，确保序列决策中理性风险评估的持续性。
• 通过将其与人类风险偏好及监管框架关联，为实践中选择风险度量（特别是在自动驾驶等安全关键领域）提供指导。

提出的方法

• 采用金融领域一致风险度量中的公理——平移不变性、单调性、正齐次性与次可加性——作为机器人风险评估的基础属性。
• 将扭曲风险度量定义为满足上述公理的一类风险度量，通过扭曲函数重新加权累积分布函数的取值。
• 通过在决策阶段递归组合单步扭曲风险度量，构建时间一致的风险度量，确保随时间推移的理性。
• 利用扭曲风险度量的表示定理，刻画满足公理的完整度量类别，从而实现系统化的度量设计。
• 提出一种风险敏感型逆强化学习框架，从一致风险度量类别中学习人类风险偏好。
• 通过将风险建模为单步风险评估的复合形式，将该框架应用于序列决策，确保在不同时间跨度上的一致性。

实验结果

研究问题

• RQ1 风险度量必须满足哪些公理，才能在不确定性下的机器人决策中被视为理性和可信？
• RQ2 此前用于金融领域的扭曲风险度量能否被适配至机器人领域，作为期望成本或最坏情况分析的有原则的替代方案？
• RQ3 如何设计风险度量以确保在序列决策任务中的时间一致性，从而避免随时间推移产生非理性行为？
• RQ4 在机器人领域使用非一致风险度量（如VaR）会产生何种影响？为何它们容易导致非理性或次优行为？
• RQ5 风险度量应如何选择或从人类偏好中学习，以使机器人行为与人类安全期望保持一致？

主要发现

• 扭曲风险度量满足所提出的平移不变性、单调性、正齐次性与次可加性公理，使其成为机器人风险评估中的理性选择。
• 通过递归组合单步扭曲风险度量，实现了序列决策中的时间一致性，确保风险评估在时间上不自相矛盾。
• 使用扭曲风险度量可避免期望成本（风险中性）和最坏情况（过度保守）方法的缺陷，提供一种平衡、风险敏感的替代方案。
• 该框架支持开发理论基础扎实且可实际部署的风险感知规划与控制系统。
• 时间一致的风险度量可表示为单期风险评估的复合形式，为多阶段决策问题提供可扩展且可解释的结构。
• 本文建议，未来的机器人监管框架可能要求使用官方批准的风险度量，而扭曲风险度量是标准化的有力候选者。