[论文解读] Measuring Surprise in the Wild

Azadeh Dinparastdjadid, Isaac Supeene+1 more|arXiv (Cornell University)|May 12, 2023

Psychology of Moral and Emotional Judgment被引用 4

一句话总结

本文提出了一种新颖的计算框架，通过结合认知科学启发的惊奇模型与学习到的生成模型，用于在真实世界的动态环境（尤其是道路交通）中测量惊奇。它提出了 Antithesis，一种能够过滤掉不令人惊讶的信息增益的惊奇度量方法，相较于传统的基于 KL 散度的方法，在检测真正令人惊讶的事件方面表现更优。

ABSTRACT

The quantitative measurement of how and when we experience surprise has mostly remained limited to laboratory studies, and its extension to naturalistic settings has been challenging. Here we demonstrate, for the first time, how computational models of surprise rooted in cognitive science and neuroscience combined with state-of-the-art machine learned generative models can be used to detect surprising human behavior in complex, dynamic environments like road traffic. In traffic safety, such models can support the identification of traffic conflicts, modeling of road user response time, and driving behavior evaluation for both human and autonomous drivers. We also present novel approaches to quantify surprise and use naturalistic driving scenarios to demonstrate a number of advantages over existing surprise measures from the literature. Modeling surprising behavior using learned generative models is a novel concept that can be generalized beyond traffic safety to any dynamic real-world environment.

研究动机与目标

• 开发一种适用于真实世界复杂环境（如道路交通）的定量、计算上可行的惊奇度量方法。
• 解决尽管在冲突检测与驾驶员行为建模中已被广泛认可，但交通安保研究中仍缺乏可操作化的惊奇模型的问题。
• 通过最先进的机器学习技术，将基于认知与神经科学的惊奇模型推广至实验室环境之外。
• 设计一种惊奇度量，能够区分真正令人惊讶的事件与不令人惊讶的信息更新（如信念修正或模式缩小）。
• 通过一种原则性、概率性的框架，实现自动驾驶系统安全、冲突检测与人类行为评估的应用。

提出的方法

• 该框架使用生成模型作为智能体对世界内部信念的表示，通过未来状态的概率分布来体现期望。
• 通过信念不匹配来量化惊奇，采用先验与后验预测分布之间的 Kullback-Leibler (KL) 散度：$D_{KL}(P(x|y) \parallel P(x))$。
• 所提出的 Antithesis 度量方法将 KL 积分限制在满足以下条件的区域：观测值既在平均信息含量之外，又在新证据后更可能，该条件由谓词 $C(P,x,y)$ 定义。
• Antithesis 应用双重条件：(i) $\log(P(x)) < E_{x'}[\log(P(x'))]$，表示相对于先验，信息含量较低；(ii) $P(x|y) > P(x)$，表示对先前不太可能的结果信念增强。
• 该方法利用基于采样的积分计算 Antithesis，丢弃不满足 $C$ 条件的样本，从而过滤掉不令人惊讶的更新。
• 该方法在自然驾驶场景中得到验证，表现出对真正惊奇事件（如突然出现的行人）更高的敏感性。

实验结果

研究问题

• RQ1 在传统实验室模型失效的真实复杂环境（如道路交通）中，如何实现惊奇的定量测量？
• RQ2 在动态系统中，真正令人惊讶的事件与单纯的信念更新或信息精炼之间有何区别？
• RQ3 基于信念不匹配与概率生成模型的惊奇度量是否能优于标准 KL 散度，在检测意外行为方面表现更优？
• RQ4 与现有惊奇度量相比，所提出的 Antithesis 度量在对真正惊奇事件的敏感性与特异性方面有何改进？
• RQ5 此类模型在多大程度上可推广至交通安保之外的其他动态真实环境？

主要发现

• 由于引入了‘超出预期’的条件，Antithesis 比 KL 散度产生更高比例的零惊奇值，表明其对不令人惊讶的更新导致的误报显著减少。
• 该方法能成功识别因意外行人突然出现而导致的紧急制动事件为高度惊奇，而常规操作（如打转向灯）则被正确归类为不令人惊讶。
• Antithesis 有效过滤了‘模式缩小’与‘模式移除’事件——这些在信念更新中常见，但并非真正的惊奇——而标准 KL 散度则无法做到这一点。
• 该框架表明，通过同时结合信息含量与信念更新强度，可使信念不匹配度量更具鲁棒性，从而提升对关键交通事件的检测能力。
• 实证验证表明，与基线方法相比，Antithesis 更好地捕捉了自然驾驶中令人直观感受到的惊奇，如突然避让动作。
• 该方法可推广至任何智能体形成概率期望的动态环境，潜在应用包括自动驾驶系统、人机交互与行为安全分析。