[论文解读] Agent-Centric Risk Assessment: Accident Anticipation and Risky Region Localization

Kuo-Hao Zeng, Shih-Han Chou+3 more|arXiv (Cornell University)|May 18, 2017

Anomaly Detection Techniques and Applications参考文献 31被引用 3

一句话总结

该论文提出了一种新颖的以智能体为中心的风险评估框架，结合动态参数预测与软注意力RNN，以预测事故并定位视频中的高风险区域。通过建模智能体与环境之间的空间和外观交互，并利用基于RNN的轨迹想象实现长期风险预测，该方法在事故预测与高风险区域定位任务上均达到最先进性能，在新提出的Epic Fail和Street Accident数据集上优于强基线模型。

ABSTRACT

For survival, a living agent must have the ability to assess risk (1) by temporally anticipating accidents before they occur, and (2) by spatially localizing risky regions in the environment to move away from threats. In this paper, we take an agent-centric approach to study the accident anticipation and risky region localization tasks. We propose a novel soft-attention Recurrent Neural Network (RNN) which explicitly models both spatial and appearance-wise non-linear interaction between the agent triggering the event and another agent or static-region involved. In order to test our proposed method, we introduce the Epic Fail (EF) dataset consisting of 3000 viral videos capturing various accidents. In the experiments, we evaluate the risk assessment accuracy both in the temporal domain (accident anticipation) and spatial domain (risky region localization) on our EF dataset and the Street Accident (SA) dataset. Our method consistently outperforms other baselines on both datasets.

研究动机与目标

• 开发一种计算机视觉框架，使智能体能够通过分析过去和当前行为，提前预测事故的发生。
• 基于智能体-环境交互，定位环境中事故最可能发生的空间区域。
• 通过深度学习建模风险事件背后的复杂时空依赖关系与因果关系。
• 引入一个新的基准数据集Epic Fail，用于视觉视频理解中的以智能体为中心的风险评估。
• 通过生成并评估智能体的想象未来轨迹，实现长期风险预测。

提出的方法

• 该方法采用软注意力RNN，将智能体行为编码为时间上的分布式表征。
• 引入动态参数预测层，以建模智能体与候选高风险区域之间的相对空间关系及耦合外观特征。
• 模型使用第二个RNN处理智能体表征，并随时间预测事故预测概率。
• 利用RNN的生成能力想象未来轨迹，随后将这些轨迹反馈至模型以实现长期风险评估。
• 系统利用Faster R-CNN提出候选高风险区域，随后通过动态参数层对这些区域进行打分。
• 该框架通过事故预测与高风险区域定位的联合优化实现端到端训练。

实验结果

研究问题

• RQ1 深度学习模型能否通过分析视频中智能体的行为，有效提前预测事故的发生？
• RQ2 该模型能否准确地定位场景中未来最可能发生事故的空间区域？
• RQ3 如何建模智能体与环境区域之间的相对空间与外观交互，以提升风险评估性能？
• RQ4 想象的未来轨迹在多大程度上能提升长期风险预测性能？
• RQ5 所提出的动态参数预测机制与硬注意力或基于池化的替代方法相比，在风险建模中表现如何？

主要发现

• 所提出的L-RAI方法在Epic Fail数据集上事故预测的mAP达到15.1%，在Street Accident数据集上达到45.4%，优于所有基线模型。
• 引入记忆机制与轨迹想象显著提升了mAP与ATTA指标，证明了长期时间建模的优势。
• 尽管L-R*CNN是具备硬注意力机制的强基线，L-RAI在EF上仍领先1.1% mAP，在SA上领先1.8% mAP。
• 动态参数预测层优于社交池化（SP）与动态空间注意力（DSA），表明其在建模智能体-区域交互方面的有效性。
• 该模型展现出强大的泛化能力，能正确识别包括汽车和栏杆在内的多样化高风险区域，并在失败案例中合理地将充气泳池标记为潜在风险。
• Oracle性能在EF上达到75.7% mAP，在SA上达到92.8%，表明当前模型仍远未达到理论上限，具备显著的改进空间。