[论文解读] Improving Human Activity Recognition Through Ranking and Re-ranking

Zhenzhong Lan, Shoou-I Yu+1 more|arXiv (Cornell University)|Dec 11, 2015

Human Pose and Action Recognition参考文献 29被引用 5

一句话总结

本文提出了两种基于排序的算法——排序归一化（RaN）与多分类迭代重排序（MIR），以提升人体动作识别性能。RaN通过用基于排序的归一化替代特征值，解决了Fisher向量与VLAD中稀疏和突发性分布的问题；MIR则通过利用类别间关系在无需训练的情况下重排序预测结果，从而提升分类性能。结合方法在六个真实世界数据集上实现了最先进性能，包括Hollywood2数据集上71.4%的准确率和Olympic Sports数据集上93.6%的准确率。

ABSTRACT

We propose two well-motivated ranking-based methods to enhance the performance of current state-of-the-art human activity recognition systems. First, as an improvement over the classic power normalization method, we propose a parameter-free ranking technique called rank normalization (RaN). RaN normalizes each dimension of the video features to address the sparse and bursty distribution problems of Fisher Vectors and VLAD. Second, inspired by curriculum learning, we introduce a training-free re-ranking technique called multi-class iterative re-ranking (MIR). MIR captures relationships among action classes by separating easy and typical videos from difficult ones and re-ranking the prediction scores of classifiers accordingly. We demonstrate that our methods significantly improve the performance of state-of-the-art motion features on six real-world datasets.

研究动机与目标

• 解决Fisher向量与VLAD中稀疏和突发性分布问题，这些问题是视频表征中准确相似性度量的障碍。
• 通过引入一种无参数、理论基础坚实的替代方法，克服Power归一化（PN）的启发式特性与参数敏感性问题。
• 通过课程学习原理建模类别间关系，无需额外训练即可提升分类性能。
• 开发一种无需训练的重排序策略，利用其他动作类别的预测结果识别并重新加权易样本与难样本。
• 在多样化基准测试中验证所提方法的有效性，包括动作识别与多媒体事件检测任务。

提出的方法

• 提出排序归一化（RaN），一种无参数技术，将每个特征维度的值替换为其在数据集中的排名，从而有效缓解稀疏与突发性分布问题。
• 将RaN应用于Fisher向量与VLAD表征，使用基于排序的归一化替代功率归一化，以提升鲁棒性与泛化能力。
• 引入多分类迭代重排序（MIR），一种无需训练的方法，利用其他分类器的预测结果估计样本难度，并据此重新排序预测结果。
• 在MIR中，易样本与典型视频得到增强，而难样本被抑制，通过利用类别间预测关系模拟课程学习机制。
• 实施迭代重排序过程，其中每个分类器的输出用于指导其他类别预测结果的重新加权，从而提升整体排序质量。
• 将RaN与MIR整合为统一流程，同时增强特征编码与分类器输出，应用于IDT、Fisher向量与SVM-based系统。

实验结果

研究问题

• RQ1 无参数、基于排序的归一化技术是否能在缓解Fisher向量与VLAD中稀疏与突发性分布问题方面优于功率归一化？
• RQ2 基于类别间预测关系的无训练重排序策略在提升动作识别性能方面效果如何？
• RQ3 RaN与MIR在包含高视觉差异性的多样化真实世界人体动作识别数据集上，性能提升程度如何？
• RQ4 RaN与MIR的结合是否在不同任务（如动作识别与多媒体事件检测）中均能实现一致性能提升？
• RQ5 当基线性能较低时，MIR在何种情况下会失效或表现不佳？

主要发现

• RaN通过有效归一化稀疏与突发性视频表征，在六个真实世界数据集上显著提升性能，且无需超参数调优。
• 在Hollywood2数据集上，RaN与MIR结合方法达到71.4%的准确率，显著超越此前最先进方法。
• 在Olympic Sports数据集上，结合方法实现93.6%的准确率，创下新的最先进结果。
• 在多媒体事件检测（MED）任务中，结合方法在EK100数据集上将mAP提升约4%，在EK10数据集上提升约3%，展现出在复杂事件识别任务中的鲁棒性。
• 当基线性能合理较高时，MIR表现最佳；在EK10数据集上表现欠佳，原因在于低性能设置下课程估计不准确。
• RaN在所有数据集上均持续提升性能，包括MEDTEST13与MEDTEST14，mAP提升达3.2–4.3个百分点，证实其强大的泛化能力。