[论文解读] BAR: Bayesian Activity Recognition using variational inference

Ranganath Krishnan, Mahesh Subedar+1 more|arXiv (Cornell University)|Nov 8, 2018

Anomaly Detection Techniques and Applications参考文献 21被引用 5

一句话总结

本文提出一种基于随机变分推断的贝叶斯深度学习框架，用于量化视觉动作识别中的不确定性。通过近似网络权重的后验分布并利用蒙特卡洛采样，该方法提供了更可靠的置信度估计，并在Moments-in-Time数据集上使精确率-召回率AUC相比非贝叶斯基线提升了6.2%。

ABSTRACT

Uncertainty estimation in deep neural networks is essential for designing reliable and robust AI systems. Applications such as video surveillance for identifying suspicious activities are designed with deep neural networks (DNNs), but DNNs do not provide uncertainty estimates. Capturing reliable uncertainty estimates in safety and security critical applications will help to establish trust in the AI system. Our contribution is to apply Bayesian deep learning framework to visual activity recognition application and quantify model uncertainty along with principled confidence. We utilize the stochastic variational inference technique while training the Bayesian DNNs to infer the approximate posterior distribution around model parameters and perform Monte Carlo sampling on the posterior of model parameters to obtain the predictive distribution. We show that the Bayesian inference applied to DNNs provide reliable confidence measures for visual activity recognition task as compared to conventional DNNs. We also show that our method improves the visual activity recognition precision-recall AUC by 6.2% compared to non-Bayesian baseline. We evaluate our models on Moments-In-Time (MiT) activity recognition dataset by selecting a subset of in- and out-of-distribution video samples.

研究动机与目标

• 为解决安全关键型视觉动作识别应用中深度神经网络缺乏可靠不确定性估计的问题。
• 应用贝叶斯深度学习与变分推断，对动作识别中的预测不确定性与置信度进行建模。
• 评估贝叶斯DNN是否相比标准DNN能更好地识别错误预测和分布外样本。
• 展示使用BALD和预测熵度量在不确定性量化方面性能的提升。

提出的方法

• 在训练过程中使用随机变分推断来近似深度神经网络权重的后验分布。
• 通过对推断的后验分布进行蒙特卡洛采样，计算新输入的预测分布。
• 应用证据下界（ELBO）目标，通过基于梯度的优化方法优化变分参数。
• 使用预测熵和BALD（基于分歧的贝叶斯主动学习）来量化模型不确定性。
• 在Moments-in-Time数据集的剪辑视频片段上训练3D卷积网络（C3D）架构。
• 通过SoftMax概率比较贝叶斯DNN（基于变分推断和MC正则化）与标准DNN的不确定性估计。

实验结果

研究问题

• RQ1 在视觉动作识别中，贝叶斯DNN的随机变分推断是否能提供比标准DNN更可靠的置信度估计？
• RQ2 贝叶斯DNN在使用不确定性度量区分分布内与分布外视频样本方面表现如何？
• RQ3 与非贝叶斯DNN基线相比，所提出的贝叶斯框架是否提升了精确率-召回率AUC？
• RQ4 BALD与预测熵度量在捕捉正确与错误预测的不确定性方面表现如何比较？

主要发现

• 与非贝叶斯DNN基线相比，采用随机变分推断的贝叶斯DNN在Moments-in-Time数据集上的精确率-召回率AUC提升了6.2%。
• 贝叶斯DNN通过蒙特卡洛采样得到的预测均值概率在错误预测上表现出较低置信度，而标准DNN的SoftMax概率则表现出过度自信。
• 贝叶斯DNN在分布外样本上的置信度显著降低，其中随机变分推断方法相比MC正则化展现出更明显的低置信度峰值。
• BALD与预测熵度量能清晰地区分分布内与分布外样本，且随机变分推断在峰值分离方面优于MC正则化。
• 置信度与不确定性度量的密度直方图证实，贝叶斯模型能可靠地捕捉不确定性，尤其在错误预测和分布外预测中表现更优。