[论文解读] Motion2Vec: Semi-Supervised Representation Learning from Surgical Videos

Ajay Kumar Tanwani, Pierre Sermanet+4 more|arXiv (Cornell University)|May 31, 2020

Human Pose and Action Recognition参考文献 53被引用 4

一句话总结

Motion2Vec 提出了一种半监督表示学习方法，通过度量学习在孪生网络中将手术视频片段聚类到深度嵌入空间，并利用循环神经网络进行伪标签的迭代优化。该方法在 da Vinci 机器人上实现了 85.5% 的动作分割准确率和 0.94 cm 的运动学姿态复现位置误差，优于当前最先进方法。

ABSTRACT

Learning meaningful visual representations in an embedding space can facilitate generalization in downstream tasks such as action segmentation and imitation. In this paper, we learn a motion-centric representation of surgical video demonstrations by grouping them into action segments/sub-goals/options in a semi-supervised manner. We present Motion2Vec, an algorithm that learns a deep embedding feature space from video observations by minimizing a metric learning loss in a Siamese network: images from the same action segment are pulled together while pushed away from randomly sampled images of other segments, while respecting the temporal ordering of the images. The embeddings are iteratively segmented with a recurrent neural network for a given parametrization of the embedding space after pre-training the Siamese network. We only use a small set of labeled video segments to semantically align the embedding space and assign pseudo-labels to the remaining unlabeled data by inference on the learned model parameters. We demonstrate the use of this representation to imitate surgical suturing motions from publicly available videos of the JIGSAWS dataset. Results give 85.5 % segmentation accuracy on average suggesting performance improvement over several state-of-the-art baselines, while kinematic pose imitation gives 0.94 centimeter error in position per observation on the test set. Videos, code and data are available at https://sites.google.com/view/motion2vec

研究动机与目标

• 从手术视频演示中学习解耦的、以运动为中心的表征，且人工标注最少。
• 通过弱监督、自监督的嵌入学习，提升动作分割和模仿学习的性能。
• 通过鲁棒且可解释的表征，实现对新手术任务的泛化以及在真实机器人系统中的部署。

提出的方法

• 使用对比损失训练孪生网络，使同一动作片段中的图像相互靠近，而不同片段中的图像相互远离。
• 模型利用时间顺序约束，在嵌入学习过程中保持时空结构。
• 预训练完成后，使用循环神经网络对未标记序列推断伪标签，以优化嵌入空间。
• 通过使用伪标签数据重新训练孪生网络，迭代优化嵌入空间。
• 使用少量标记的视频片段对齐嵌入空间并初始化伪标签推断过程。
• 通过前馈网络在嵌入观测上执行姿态复现，实现在 da Vinci 机器人上的精确运动学复制。

实验结果

研究问题

• RQ1 在仅使用少量标注数据的情况下，半监督度量学习方法是否能有效将相似的手术动作片段聚类到深度嵌入空间？
• RQ2 通过 RNN 预测的伪标签进行的迭代伪标签化，如何提升视频模仿学习中所学表征的一致性和可解释性？
• RQ3 Motion2Vec 嵌入在下游任务（如动作分割和真实机器人系统中的运动学姿态复现）中的泛化能力如何？
• RQ4 在分割准确率和鲁棒性方面，该方法与当前最先进度量学习和序列学习基线相比表现如何？
• RQ5 所学表征在噪声和域偏移条件下是否能保持时空结构？

主要发现

• Motion2Vec 在 JIGSAWS 数据集上实现了 85.5% 的平均分割准确率，优于先前方法如 TCC（83.3%）和 TCN（81.4%）。
• 该方法对输入噪声具有鲁棒性，在预处理图像上施加方差为 0.15 的高斯噪声时，仍能保持准确的时空对齐。
• 使用 Motion2Vec 嵌入进行姿态复现时，da Vinci 机器人上每条观测的中位位置误差为 0.94 cm，优于基于原始视频训练的模型。
• 在 Motion2Vec 嵌入上训练的单医师姿态复现模型，中位余弦四元数损失为 36.49，RMSE 为 0.94 cm，表明运动学复制具有高保真度。
• 使用 25% 或以上标注数据的半监督训练，其分割准确率始终优于完全监督和无监督基线。
• 利用 RNN 预测伪标签的迭代优化循环显著提升了嵌入质量及下游性能。