[论文解读] Learning event representations for temporal segmentation of image sequences by dynamic graph embedding

Mariella Dimiccoli, Herwig Wendt|arXiv (Cornell University)|Oct 8, 2019

Human Pose and Action Recognition参考文献 73被引用 10

一句话总结

本文提出动态图嵌入（DGE），一种自监督方法，通过联合优化动态图结构及其低维嵌入，学习低帧率图像序列中事件的表示，以实现时间分割。与以往的自监督方法不同，DGE 不需要训练数据，而是通过迭代优化基于图的相似性和嵌入，以捕捉语义和时间关系，在 EDUBSeg 和 EDUBSeg-Desc 上分别取得 0.72 和 0.80 的 F 分数，达到当前最优性能。

ABSTRACT

Recently, self-supervised learning has proved to be effective to learn representations of events suitable for temporal segmentation in image sequences, where events are understood as sets of temporally adjacent images that are semantically perceived as a whole. However, although this approach does not require expensive manual annotations, it is data hungry and suffers from domain adaptation problems. As an alternative, in this work, we propose a novel approach for learning event representations named Dynamic Graph Embedding (DGE). The assumption underlying our model is that a sequence of images can be represented by a graph that encodes both semantic and temporal similarity. The key novelty of DGE is to learn jointly the graph and its graph embedding. At its core, DGE works by iterating over two steps: 1) updating the graph representing the semantic and temporal similarity of the data based on the current data representation, and 2) updating the data representation to take into account the current data graph structure. The main advantage of DGE over state-of-the-art self-supervised approaches is that it does not require any training set, but instead learns iteratively from the data itself a low-dimensional embedding that reflects their temporal and semantic similarity. Experimental results on two benchmark datasets of real image sequences captured at regular time intervals demonstrate that the proposed DGE leads to event representations effective for temporal segmentation. In particular, it achieves robust temporal segmentation on the EDUBSeg and EDUBSeg-Desc benchmark datasets, outperforming the state of the art. Additional experiments on two Human Motion Segmentation benchmark datasets demonstrate the generalization capabilities of the proposed DGE.

研究动机与目标

• 为解决自监督学习在时间分割中的局限性，特别是第一人称图像序列中对数据的需求和领域适应问题。
• 开发一种可直接从单个图像序列中学习事件表示的方法，而无需任何标注的训练数据。
• 通过联合学习的图结构和低维嵌入，对图像序列中的语义和时间相似性进行建模。
• 通过将该方法应用于人体动作分割基准，证明其在第一人称视频之外的泛化能力。

提出的方法

• DGE 将图像序列建模为动态图，其中节点代表帧，边基于高层视觉特征编码时间接近度和语义相似性。
• 该方法基于当前帧表示迭代更新图结构，并利用当前图结构优化帧嵌入。
• 图构建采用 k-近邻方法，结合时间相似性和语义相似性，其中语义相似性通过深度特征计算得出。
• 嵌入学习步骤最小化一个正则化目标，以保留图结构，使用基于图拉普拉斯的损失函数。
• 该算法在图更新和嵌入更新步骤之间交替进行，直至收敛，超参数控制时间相似性与语义相似性之间的平衡。
• 采用 k-均值的变体进行语义相似性估计，消融研究验证了各组件的贡献。

实验结果

研究问题

• RQ1 自监督方法是否能在无需任何训练数据或标注的情况下，学习到有效的时间分割事件表示？
• RQ2 与固定图或预训练嵌入方法相比，联合学习图结构及其嵌入在提升表示质量方面有何优势？
• RQ3 所提出的 DGE 模型在多大程度上可泛化到不同视频领域，如人体动作分割？
• RQ4 在图构建中，时间相似性与语义相似性的相对贡献如何，以实现鲁棒的时间分割？
• RQ5 在基准数据集上，DGE 在边界检测准确率方面与最先进方法相比表现如何？

主要发现

• 在 EDUBSeg 数据集上，DGE 取得 0.72 的 F 分数，在 EDUBSeg-Desc 上取得 0.80，分别优于之前最先进方法 1 和 8 个百分点。
• 消融研究显示，若移除 DGE 的任意核心组件（如时间先验、语义相似性或图正则化），性能最高下降 3 个百分点。
• 在 Keck 和 MAD 人体动作分割基准上，DGE 实现了最先进水平的聚类准确率（0.72 和 0.67）和标准化互信息（0.83 和 0.82），展现出强大的泛化能力。
• 该方法在标准台式机上处理 EDUBSeg 数据集（18,735 帧）约需 2 分钟，表明其具有实际计算可行性。
• 该模型对相机视角和生活方式的变化具有鲁棒性，因其不依赖于特定领域的训练数据。
• 图与嵌入的联合优化使事件表示更加一致，表现为语义相似的帧在嵌入空间中聚集成密集的点云。