[论文解读] Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation

Min-Hung Chen, Baopu Li+3 more|arXiv (Cornell University)|Mar 5, 2020

Human Pose and Action Recognition参考文献 46被引用 12

一句话总结

本文提出自监督时间域自适应（SSTDA），一种新颖方法，通过两种自监督辅助任务——二元域预测与序列域预测——联合对齐跨域的局部与全局时间动态，实现仅需极少标注数据的有效动作分割。SSTDA在GTEA、50Salads和Breakfast数据集上取得最先进性能，F1@25分数最高提升9.5个百分点，并将标注数据需求降低至基线的65%。

ABSTRACT

Despite the recent progress of fully-supervised action segmentation techniques, the performance is still not fully satisfactory. One main challenge is the problem of spatiotemporal variations (e.g. different people may perform the same activity in various ways). Therefore, we exploit unlabeled videos to address this problem by reformulating the action segmentation task as a cross-domain problem with domain discrepancy caused by spatio-temporal variations. To reduce the discrepancy, we propose Self-Supervised Temporal Domain Adaptation (SSTDA), which contains two self-supervised auxiliary tasks (binary and sequential domain prediction) to jointly align cross-domain feature spaces embedded with local and global temporal dynamics, achieving better performance than other Domain Adaptation (DA) approaches. On three challenging benchmark datasets (GTEA, 50Salads, and Breakfast), SSTDA outperforms the current state-of-the-art method by large margins (e.g. for the F1@25 score, from 59.6% to 69.1% on Breakfast, from 73.4% to 81.5% on 50Salads, and from 83.6% to 89.1% on GTEA), and requires only 65% of the labeled training data for comparable performance, demonstrating the usefulness of adapting to unlabeled target videos across variations. The source code is available at https://github.com/cmhungsteve/SSTDA.

研究动机与目标

• 解决不同个体和视频风格下动作分割中的时空变化挑战。
• 在不需额外标注数据的情况下，减少此类变化引起的时间域差异。
• 通过仅使用未标注的目标视频进行自监督域自适应，提升动作分割性能。
• 在归纳设置下，实现从已标注源域到未标注目标域的有效模型迁移。

提出的方法

• 提出一种自监督辅助任务——序列域预测，通过预测未修剪视频片段中域的排列顺序，建模全局时间动态。
• 引入二元域预测，将每个帧分类为源自源域或目标域，对齐局部特征分布。
• 在联合对抗训练框架中结合两种辅助任务，联合对齐跨域的局部与全局特征空间。
• 将SSTDA集成至基于MS-TCN的动作分割模型中，利用对抗损失最小化域差异，同时保持动作识别性能。
• 利用梯度反转层与域判别器，实现端到端训练，获得域不变表示。
• 在归纳设置下应用该方法，利用未标注的目标视频适应源模型，无需目标标注。

实验结果

研究问题

• RQ1 自监督辅助任务是否能通过建模局部与全局时间动态，提升跨域动作分割性能？
• RQ2 联合对齐局部与全局时间特征是否优于单一层次的对齐？
• RQ3 通过利用未标注的目标视频，是否能仅用极少标注数据，使在源域上训练的模型有效泛化到目标域？
• RQ4 所提出的序列域预测任务与仅建模域内顺序的现有自监督方法相比表现如何？

主要发现

• 在Breakfast数据集上，SSTDA取得69.1%的F1@25分数，较之前最先进方法（59.6%）提升9.5个百分点。
• 在50Salads数据集上，SSTDA将F1@25从73.4%提升至81.5%，显著改善了处理高类内差异的能力。
• 在GTEA数据集上，SSTDA将F1@25从83.6%提升至89.1%，展现出对多样化动作模式的鲁棒性。
• 该方法仅使用65%的标注训练数据，即可达到全监督基线的相当性能，凸显其数据效率。
• 定性结果表明，联合对齐可减少误报与误分类，如错误检测'倒'或'搅拌牛奶'等动作。
• 序列域预测优于仅建模域内顺序的方法（如VCOP），证明跨域时间推理在域自适应中更具有效性。