[论文解读] ODIN: Automated Drift Detection and Recovery in Video Analytics

Abhijit Suprem, Joy Arulraj+2 more|arXiv (Cornell University)|Sep 9, 2020

Anomaly Detection Techniques and Applications参考文献 39被引用 11

一句话总结

ODIN 是一个视觉数据分析系统，通过使用对抗性自编码器和一种新型的基于 GAN 的距离度量，自动检测并从视频流中的概念漂移中恢复。在 BDD 数据集的高分辨率行车记录仪视频上，其性能优于基线系统，实现 6 倍更高的吞吐量、2 倍更高的准确率，以及 6 倍更小的内存占用。

ABSTRACT

Recent advances in computer vision have led to a resurgence of interest in visual data analytics. Researchers are developing systems for effectively and efficiently analyzing visual data at scale. A significant challenge that these systems encounter lies in the drift in real-world visual data. For instance, a model for self-driving vehicles that is not trained on images containing snow does not work well when it encounters them in practice. This drift phenomenon limits the accuracy of models employed for visual data analytics. In this paper, we present a visual data analytics system, called ODIN, that automatically detects and recovers from drift. ODIN uses adversarial autoencoders to learn the distribution of high-dimensional images. We present an unsupervised algorithm for detecting drift by comparing the distributions of the given data against that of previously seen data. When ODIN detects drift, it invokes a drift recovery algorithm to deploy specialized models tailored towards the novel data points. These specialized models outperform their non-specialized counterpart on accuracy, performance, and memory footprint. Lastly, we present a model selection algorithm for picking an ensemble of best-fit specialized models to process a given input. We evaluate the efficacy and efficiency of ODIN on high-resolution dashboard camera videos captured under diverse environments from the Berkeley DeepDrive dataset. We demonstrate that ODIN's models deliver 6x higher throughput, 2x higher accuracy, and 6x smaller memory footprint compared to a baseline system without automated drift detection and recovery.

研究动机与目标

• 解决现实世界视觉数据分析中的概念漂移挑战，其中由于天气或光照等环境变化，数据分布随时间演变。
• 克服静态机器学习模型的局限性，这些模型假设数据分布固定不变，导致在遇到新型视觉条件时性能下降。
• 在无需人工干预或新型数据点的标注数据的情况下，自动检测并恢复漂移。
• 设计一个系统，能够动态选择并部署针对检测到的漂移聚类量身定制的专用模型，从而提升准确性、性能和内存效率。

提出的方法

• 使用对抗性自编码器（AAEs）学习输入视频帧的高维分布，实现鲁棒的表征学习。
• 提出 DA-GAN，一种基于生成对抗网络的新型距离度量，用于衡量新数据与先前见过的数据之间的分布差异。
• 通过在潜在空间中识别高密度区域（即 ∆-bands）并使用 DA-GAN 度量比较输入分布，检测漂移。
• 在检测到漂移后，触发 SPECIALIZER 模块，从头开始在新型数据聚类（如雪天或夜间条件）上训练新的轻量级、任务特定模型。
• 利用 SELECTOR 模块根据 ∆-DM 策略动态选择专用模型的集成，以优化每个输入的准确率和效率。
• 通过 YOLO-LITE 推理提供弱监督，以在获得真实标签前启动模型训练，从而加速专用模型的部署。

实验结果

研究问题

• RQ1 无监督的、基于分布的方法是否能比现有异常检测技术更有效地检测高维视觉数据中的概念漂移？
• RQ2 基于 GAN 的距离度量与传统方法（如重构误差、kNN 密度）相比，在检测图像中的分布偏移方面表现如何？
• RQ3 在检测到的漂移聚类上从头开始训练的专用模型，与单一通用模型相比，在准确性、速度和内存效率方面提升程度如何？
• RQ4 当存在多个可用的专用模型时，何种模型选择策略能实现最佳性能？

主要发现

• 在高分辨率行车记录仪视频上，ODIN 的吞吐量比无漂移检测与恢复功能的基线系统高出 6 倍。
• 系统在漂移数据上的检测准确率提高了 2 倍，表明其对分布偏移具有更强的鲁棒性。
• 专用模型相比通用模型将内存占用减少了 6 倍，使资源受限系统中的高效部署成为可能。
• DA-GAN 距离度量在高维视觉数据上优于最先进异常检测算法，尤其在检测新型视觉概念（如积雪或低光照条件）方面表现更优。
• 在新型聚类上从头开始训练的模型专业化方法，相比蒸馏或压缩驱动的专业化，能实现更高的准确率和更强的鲁棒性。
• ∆-DM 模型选择策略通过为每个输入选择最优的专用模型集成，有效平衡了准确率与性能。