[论文解读] Gibbs Sampling Strategies for Semantic Perception of Streaming Video Data

Yogesh Girdhar, Gregory Dudek|arXiv (Cornell University)|Sep 10, 2015

Advanced Image and Video Retrieval Techniques参考文献 15被引用 7

一句话总结

本文提出并评估了基于时空主题建模的实时流视频数据语义感知的吉布斯采样策略。通过在混合采样器（如 Uniform+Now）中结合局部（近期观测）与全局（均匀）优化，该方法在瞬时和最终困惑度上显著优于基线方法，从而实现移动机器人更快、更准确的在线决策。

ABSTRACT

Topic modeling of streaming sensor data can be used for high level perception of the environment by a mobile robot. In this paper we compare various Gibbs sampling strategies for topic modeling of streaming spatiotemporal data, such as video captured by a mobile robot. Compared to previous work on online topic modeling, such as o-LDA and incremental LDA, we show that the proposed technique results in lower online and final perplexity, given the realtime constraints.

研究动机与目标

• 通过结合局部（近期）和全局（历史）观测优化，解决移动机器人在实时流视频数据中无监督语义感知的挑战。
• 通过逐步优化主题标签，提升在严格实时约束下的在线主题建模收敛速度。
• 评估平衡局部（近期）与全局（历史）观测优化的吉布斯采样策略，以提高感知准确性。
• 优化机器人应用中的主题建模性能，实现基于当前观测的低延迟、高精度决策。
• 证明混合吉布斯采样器在瞬时和最终困惑度上均优于均匀、按年龄比例或纯局部优化策略。

提出的方法

• 将时空视频数据建模为观测序列，其中每个词（视觉特征）通过概率生成模型分配主题标签。
• 使用吉布斯采样迭代重采样每个词的主题标签，条件于其他词的当前主题分配及其邻域上下文。
• 通过狄利克雷先验对主题分布进行邻域上下文建模，其中 H(x) 编码附近时空区域的主题分布。
• 实现多种吉布斯采样变体：均匀采样（等权重优化概率）、按年龄比例采样（近期观测权重更高）、指数衰减采样，以及混合策略如 Uniform+Now（局部与全局优化权重相等）。
• 每时间步仅对固定数量的邻域进行优化，以维持实时性能，优先处理最近观测区域。
• 使用困惑度作为评估指标，分别计算瞬时（观测后一步）和最终（所有数据处理完毕后）的困惑度分数，与批量推理结果对比。

实验结果

研究问题

• RQ1 不同吉布斯采样策略如何影响实时流视频数据中主题建模的收敛性与准确性？
• RQ2 在机器人感知的主题建模中，优化近期观测与保持全局一致性之间的权衡是什么？
• RQ3 结合局部与全局优化的混合吉布斯采样策略是否能优于纯局部或均匀策略？
• RQ4 在机器人在线主题建模中，瞬时困惑度（每次观测后立即测量）与最终困惑度相比如何？
• RQ5 不同采样策略在保持实时计算约束的前提下，能在多大程度上降低在线困惑度？

主要发现

• 在所有数据集上，Uniform+Now 混合吉布斯采样器实现了最低的平均瞬时困惑度（2Objects 数据集为 1.756，空中数据集为 0.994，水下数据集为 0.988），表明其具有优越的实时推理性能。
• 按年龄比例采样和均匀采样在最终困惑度上表现良好（如空中数据集为 1.715），但瞬时困惑度较高（如 2Objects 数据集为 3.714），限制了其在实时决策中的应用。
• 指数采样和纯局部（Now）采样器表现出较高的瞬时困惑度（如 2Objects 数据集使用 Exp 时为 2.272），表明在新观测上的收敛性较差。
• 混合策略如 AgeP+Now 和 Uni+Exp 在瞬时困惑度（如空中数据集为 1.109）和最终困惑度（如空中数据集为 1.247）上均表现稳定且优异，优于所有基线方法。
• 与最佳基线（AgeP）相比，Uniform+Now 采样器在 2Objects 数据集上的瞬时困惑度降低了高达 45%，证明其具备强大的实时推理能力。
• 所有混合采样器（如 Uni+Now、AgeP+Now）均显著优于纯策略，表明在局部与全局优化之间保持平衡对实时机器人感知至关重要。