[论文解读] Iterate & Cluster: Iterative Semi-Supervised Action Recognition.

Jingyuan Li, Eli Shlizerman|arXiv (Cornell University)|Jun 12, 2020

Human Pose and Action Recognition参考文献 21被引用 7

一句话总结

该论文提出了一种名为 Iterate & Cluster 的新型迭代半监督框架，用于动作识别，通过在潜在空间中利用基于自编码器的无监督聚类，主动选择最具信息量的视频序列进行标注。通过仅使用少量人工标注序列，迭代地优化聚类与动作的关联，该方法在基于骨架的动作识别基准（包括 NW-UCLA 和 UWA3D）以及鼠标运动数据集上实现了最先进（SOTA）的准确率——仅使用 5% 的标签，性能提升超过 20%。

ABSTRACT

We propose a novel system for active semi-supervised feature-based action recognition. Given time sequences of features tracked during movements our system clusters the sequences into actions. Our system is based on encoder-decoder unsupervised methods shown to perform clustering by self-organization of their latent representation through the auto-regression task. These methods were tested on human action recognition benchmarks and outperformed non-feature based unsupervised methods and achieved comparable accuracy to skeleton-based supervised methods. However, such methods rely on K-Nearest Neighbours (KNN) associating sequences to actions, and general features with no annotated data would correspond to approximate clusters which could be further enhanced. Our system proposes an iterative semi-supervised method to address this challenge and to actively learn the association of clusters and actions. The method utilizes latent space embedding and clustering of the unsupervised encoder-decoder to guide the selection of sequences to be annotated in each iteration. Each iteration, the selection aims to enhance action recognition accuracy while choosing a small number of sequences for annotation. We test the approach on human skeleton-based action recognition benchmarks assuming that only annotations chosen by our method are available and on mouse movements videos recorded in lab experiments. We show that our system can boost recognition performance with only a small percentage of annotations. The system can be used as an interactive annotation tool to guide labeling efforts for 'in the wild' videos of various objects and actions to reach robust recognition.

研究动机与目标

• 通过最小化所需人工标注序列的数量，解决动作识别中高标注成本的挑战。
• 克服依赖 KNN 进行聚类到动作关联的无监督聚类方法的局限性，这些方法在缺乏监督时可能表现次优。
• 开发一种智能的主动学习策略，基于潜在空间嵌入与聚类结构，选择最具信息量的序列进行标注。
• 在低监督设置下，于多样化数据集（包括人体骨架序列与鼠标运动视频）上展示稳健的性能。

提出的方法

• 使用基于无监督自编码器的编码器-解码器模型，学习时序序列表征，并将潜在状态自组织为动作聚类。
• 在学习到的潜在空间中应用聚类，无需任何真实标签即可将相似的动作序列分组。
• 设计一种主动学习策略，基于潜在空间中的不确定性和多样性选择标注序列，受聚类结构引导。
• 通过引入新标注序列，迭代地优化聚类与动作的关联，每次迭代更新模型并重新聚类。
• 提出三种变体——IC-KR、IC-KT 和 IC-KEP，其差异在于序列选择方式：基于 K-最近邻、基于不确定性，以及两者的混合。
• 仅使用所选的标注序列训练最终分类器，在极低标注预算下仍能实现高准确率。

实验结果

研究问题

• RQ1 能否将基于无监督自编码器的聚类方法与主动学习有效结合，以降低动作识别中的标注成本？
• RQ2 基于潜在空间嵌入与聚类结构的序列选择策略，在每标注一个样本的准确率增益上，相较于随机选择或基于 KNN 的标注策略如何？
• RQ3 当仅标注一小部分数据时，聚类-动作关联的迭代优化能在多大程度上提升识别性能？
• RQ4 所提出的方法是否能在不同动作识别数据集上泛化，包括非人类主体（如老鼠）的数据集？

主要发现

• 仅使用 5% 的数据集标签，IC-KEP 变体在 NW-UCLA 数据集上达到了 72.2% 的准确率，相较于基线 KNN 方法提升了 20.2%。
• 在 UWA3D 数据集上，IC-KEP 在 100% 标签下达到 95.3% 的准确率，优于 C-EP 主动学习方法（95.8%），并在标签有限时也表现出稳健性。
• 在鼠标数据集上，IC-KEP 在 5% 标签预算下实现了 28.9% 的准确率，显著优于 KNN（18.7%）及其他基线方法。
• 该方法在早期迭代中表现出快速的性能提升，尤其在标签预算较小时（如 5% 和 20%），IC-KEP 与 C 及 C-EP 方法相比展现出明显的性能差距。
• C-EP 的性能对嵌入空间中的标签分布高度敏感，而 IC-KEP 凭借其结构化的选择策略，始终保持一致的性能增益。
• 即使在完全标注（100%）的情况下，IC-KEP 方法仍能匹配或超越最先进（SOTA）的监督基线，表明迭代主动学习过程有助于提升模型泛化能力。