[论文解读] Unsupervised Video Decomposition using Spatio-temporal Iterative Inference

Polina Zablotskaia, Edoardo Alberto Dominici+2 more|arXiv (Cornell University)|Jun 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 7

一句话总结

该论文提出了一种新颖的时空迭代推理框架 ST-IODINE，通过联合建模多对象表征与时间依赖性，实现无监督视频分解。该方法采用 2D-LSTM、时序条件推理和后验分布的摊销优化，即使在缺乏颜色线索的情况下，也在 Bouncing Balls 和 CLEVRER 等基准数据集上实现了分割、重建和轨迹预测的最先进性能，归因于对物体动态的改进建模以及引入的熵正则化项。

ABSTRACT

Unsupervised multi-object scene decomposition is a fast-emerging problem in representation learning. Despite significant progress in static scenes, such models are unable to leverage important dynamic cues present in video. We propose a novel spatio-temporal iterative inference framework that is powerful enough to jointly model complex multi-object representations and explicit temporal dependencies between latent variables across frames. This is achieved by leveraging 2D-LSTM, temporally conditioned inference and generation within the iterative amortized inference for posterior refinement. Our method improves the overall quality of decompositions, encodes information about the objects' dynamics, and can be used to predict trajectories of each object separately. Additionally, we show that our model has a high accuracy even without color information. We demonstrate the decomposition, segmentation, and prediction capabilities of our model and show that it outperforms the state-of-the-art on several benchmark datasets, one of which was curated for this work and will be made publicly available.

研究动机与目标

• 解决现有无监督视频分解模型独立处理帧、无法建模对象间时间依赖性的局限性。
• 实现从原始视频中无监督地联合学习解耦的、像素级的表征与对象动态。
• 提升在对象数量变化的场景中的泛化能力，并增强在低对比度或灰度设置下的鲁棒性。
• 通过时序条件化与基于条件先验的变分推理，实现准确的轨迹预测与稳定的推理。
• 证明基于 2D-LSTM 的时空推理机制在建模复杂非线性物体运动方面的有效性。

提出的方法

• 该模型在 IODINE 的基础上引入 2D-LSTM，以编码跨帧的时空依赖性，实现在时间维度上对潜在变量的联合推理。
• 采用基于条件先验和生成模型的时序条件化变分推理，以在帧间迭代优化后验估计。
• 使用高效的三角形网格结构，在保持潜在槽表征空间精度的同时降低计算成本。
• 引入一种新颖的熵正则化项，以在外观线索不足的低对比度或灰度场景中提升解耦性。
• 该框架在类似 VAE 的架构中采用摊销迭代推理，联合优化重建、分割与动态建模。
• 模型在视频序列上端到端训练，学习动态地将潜在槽分配给进入或离开场景的对象。

实验结果

研究问题

• RQ1 时空迭代推理框架是否能通过建模对象表征之间的时间依赖性，改善无监督视频分解？
• RQ2 引入 2D-LSTM 和条件先验对多对象视频场景中分割与重建质量有何影响？
• RQ3 该模型在对象数量动态变化且缺乏颜色信息的场景中，其泛化能力如何？
• RQ4 熵正则化项的引入是否能增强低对比度设置下的解耦性与性能？
• RQ5 与 R-NEM 和 IODINE 等最先进方法相比，该模型在对象轨迹预测能力方面表现如何？

主要发现

• 在使用二值化（灰度）数据的 Bouncing Balls 数据集上，该模型实现了 ARI 为 0.4453 和 F-ARI 为 0.9999，显著优于 R-NEM（ARI: 0.4484, F-ARI: 0.6377）和 IODINE（F-ARI: 0.9969）。
• 在 Bouncing Balls 的彩色版本（8 种不同颜色）上，该模型实现了 MSE 为 0.0114 和 F-ARI 为 0.9900，优于 IODINE（MSE: 0.0281, F-ARI: 0.7197）和 R-NEM。
• 在 CLEVRER 基准测试中，该模型实现了 ARI 为 0.2839 和 MSE 为 0.0004，优于 IODINE（ARI: 0.2205, MSE: 0.0006）和 SEQ-IODINE（ARI: 0.1482, MSE: 0.0012）。
• 消融实验表明，包含熵正则化、条件先验与生成机制、以及 40 帧序列的完整模型性能最高（ARI: 0.7263, F-ARI: 0.9999, MSE: 0.0004）。
• 该模型展现出强大的泛化能力，在测试序列包含 6–8 个对象时仍保持高性能，即使将槽的数量从 5 增加到 9 亦然。
• 预测结果表明，该模型在短序列上优于 R-NEM，并在 CLEVRER 上保持低误差率，且误差随时间推移而下降。