[论文解读] AOL: Adaptive Online Learning for Human Trajectory Prediction in Dynamic Video Scenes

Manh Huynh, Gita Alaghband|arXiv (Cornell University)|Feb 16, 2020

Video Surveillance and Tracking Methods参考文献 21被引用 9

一句话总结

本文提出AOL，一种自适应在线学习框架，可动态更新神经网络权重，用于动态视频场景中的人体轨迹预测。通过与LSTM和FPL模型集成，并采用最近最少使用（LRU）策略维护最优权重，AOL将预测准确率最高提升50%（平均提升28%），同时保持20fps的实时推理性能。

ABSTRACT

We present a novel adaptive online learning (AOL) framework to predict human movement trajectories in dynamic video scenes. Our framework learns and adapts to changes in the scene environment and generates best network weights for different scenarios. The framework can be applied to prediction models and improve their performance as it dynamically adjusts when it encounters changes in the scene and can apply the best training weights for predicting the next locations. We demonstrate this by integrating our framework with two existing prediction models: LSTM [3] and Future Person Location (FPL) [1]. Furthermore, we analyze the number of network weights for optimal performance and show that we can achieve real-time with a fixed number of networks using the least recently used (LRU) strategy for maintaining the most recently trained network weights. With extensive experiments, we show that our framework increases prediction accuracies of LSTM and FPL by ~17% and 28% on average, and up to ~50% for FPL on the worst case while achieving real-time (20fps).

研究动机与目标

• 解决在环境条件随时间变化的动态视频场景中维持高预测准确率的挑战。
• 克服静态模型在面对场景变化或人类运动新模式时无法适应的局限性。
• 开发一种持续学习并为不同场景条件选择最佳性能网络权重的框架。
• 通过使用LRU策略高效管理一组固定预训练模型权重，实现实时推理。
• 在不修改网络架构的前提下，提升现有轨迹预测模型的性能。

提出的方法

• 设计一种自适应在线学习（AOL）框架，当新场景数据到达时实时重新训练并更新模型权重。
• 将AOL与现有模型——LSTM和未来人员位置（FPL）——集成，以增强其在多样化动态环境中的泛化能力。
• 应用最近最少使用（LRU）策略，维护一组固定数量的最新训练模型权重，以实现低延迟推理。
• 根据当前场景上下文下最近的表现，从缓存中动态选择最佳性能的网络权重。
• 使用在线学习方法增量更新模型参数，实现在无需完整微调的情况下快速适应场景变化。
• 优化需维护的模型权重数量，以在准确率与计算效率之间取得平衡，实现在20fps下的实时性能。

实验结果

研究问题

• RQ1 自适应在线学习框架能否在环境条件动态变化的动态视频场景中提升轨迹预测的准确率？
• RQ2 当引入自适应权重选择与在线学习后，LSTM和FPL等现有模型的性能如何变化？
• RQ3 为实现实时性能并最大化预测准确率，应维护多少数量的模型权重为最优？
• RQ4 基于LRU的权重管理策略能否在动态场景中有效平衡准确率与推理速度？
• RQ5 与基线模型相比，该框架在最坏场景变化情况下的表现如何？

主要发现

• AOL使FPL模型的平均预测准确率提升28%，在最坏场景下最高提升达50%。
• 当使用AOL框架增强后，LSTM模型的平均准确率提升17%。
• 该框架通过LRU策略管理固定数量的模型权重，实现了20帧每秒的实时推理。
• 所维护的网络权重数量经过优化，以在性能与计算成本之间取得平衡，实现高效部署。
• AOL与现有模型的集成方式为即插即用，无需修改网络架构。
• 基于LRU的权重缓存策略能有效选择最相关且最新的模型权重，确保快速而准确的推理。