[论文解读] Action Recognition in the Frequency Domain
本文提出一种频域特征表示方法，通过将光流和刚性姿态等时序特征转换为对运动变化、视角变换和背景噪声不敏感的频谱分量，从而提升人体动作识别的鲁棒性。在KTH数据集上，使用随机森林分类器对这些频域特征进行分类，方法在整体准确率上达到最高89.6%，表现出稳定且优异的性能，即使在测试集复杂度逐渐增加的情况下也保持一致。
In this paper, we describe a simple strategy for mitigating variability in temporal data series by shifting focus onto long-term, frequency domain features that are less susceptible to variability. We apply this method to the human action recognition task and demonstrate how working in the frequency domain can yield good recognition features for commonly used optical flow and articulated pose features, which are highly sensitive to small differences in motion, viewpoint, dynamic backgrounds, occlusion and other sources of variability. We show how these frequency-based features can be used in combination with a simple forest classifier to achieve good and robust results on the popular KTH Actions dataset.
研究动机与目标
- 降低数据可变性（如运动差异、视角变化、动态背景和遮挡）对动作识别性能的影响。
- 探究时序特征（如光流、姿态）的频域表示是否能带来更鲁棒和稳定的分类结果。
- 评估频域特征与随机森林分类器结合在KTH动作数据集上的有效性。
- 评估基于频域特征在测试集复杂度和多样性逐步增加条件下的泛化能力和鲁棒性。
提出的方法
- 该方法使用傅里叶变换将时序特征（光流和刚性姿态）转换到频域，以提取频谱分量。
- 从局部身体区域（如四肢、躯干）提取频域特征，其表示的是周期性、规律性的运动模式，而非原始的时空变化。
- 采用基于随机森林的近似最近邻分类器，根据频域特征对动作进行分类。
- 该方法依赖人工标注的边界框进行人体定位，假设已事先完成检测与跟踪，并对每个时序特征序列应用频域分析。
- 评估了多种训练和测试集配置，包括不同场景（s1–s4）的组合，以检验在可变性逐步增加条件下的鲁棒性。
- 通过多次独立运行测量性能，结果取平均值并以识别准确率形式报告。
实验结果
研究问题
- RQ1光流和刚性姿态特征的频域表示能否降低动作识别中对运动和视角变化的敏感性？
- RQ2在测试集复杂度和多样性逐步增加的条件下，基于频域的特征性能与时域特征相比如何？
- RQ3将频域特征与森林分类器结合，是否能在多种多样的测试条件下实现稳定且鲁棒的识别结果？
- RQ4为何某些训练/测试集组合（如包含场景s2）会导致性能异常，而频域表示如何缓解此类问题？
主要发现
- 当在全部四个场景（s1–s4）上进行训练时，频域方法在KTH动作数据集上实现了最高89.6%的整体准确率，精确率为89.5%，F1得分为87.3%。
- 即使在测试集复杂度增加的情况下，性能依然高度稳定，准确率仅出现小幅下降（例如，从89.6%降至82.1%当测试集扩大到完整规模），表明具有极强的鲁棒性。
- 在训练或测试中包含场景s2（具有显著尺度变化）会导致性能下降和不一致，表明极端可变性可能使频域特征过载，除非在训练中充分覆盖此类情况。
- 增加更多训练场景（如s1,s2,s3,s4）可略微提升性能，证实更丰富的数据能增强模型的泛化能力。
- 与基线时域特征相比，该方法在鲁棒性方面表现更优，即使在测试集多样性增加时性能下降也极小，优于许多现有方法。
- 频域特征在不同测试集构成下表现出一致的性能，仅出现微小波动，验证了其在真实世界可变性下的稳定性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。