[论文解读] Egocentric Activity Recognition with Multimodal Fisher Vector

Sibo Song, Ngai‐Man Cheung+3 more|arXiv (Cornell University)|Jan 25, 2016

Human Pose and Action Recognition参考文献 12被引用 9

一句话总结

该论文提出了一种多模态费雪向量（MFV）框架，通过费雪核方法融合第一人称视频轨迹与时间增强的传感器特征，在识别20种细粒度活动时达到83.7%的准确率，显著优于仅使用视频、仅使用传感器或简单拼接基线方法，其优势源于同步可穿戴传感器与摄像头提供的互补视觉与运动数据。

ABSTRACT

With the increasing availability of wearable devices, research on egocentric activity recognition has received much attention recently. In this paper, we build a Multimodal Egocentric Activity dataset which includes egocentric videos and sensor data of 20 fine-grained and diverse activity categories. We present a novel strategy to extract temporal trajectory-like features from sensor data. We propose to apply the Fisher Kernel framework to fuse video and temporal enhanced sensor features. Experiment results show that with careful design of feature extraction and fusion algorithm, sensor data can enhance information-rich video data. We make publicly available the Multimodal Egocentric Activity dataset to facilitate future research.

研究动机与目标

• 为解决第一人称活动识别中多模态融合的不足，通过结合视觉与传感器数据。
• 构建一个公开可用的新第一人称多模态活动数据集，包含来自Google Glass的同步视频与传感器数据。
• 设计一种传感器数据的时间编码方法，以捕捉与特定活动相关的运动模式。
• 设计一种基于费雪核的融合框架，将生成建模与判别分类相结合，以提升识别性能。
• 通过实证验证所提出的MFV方法在视频仅、传感器仅和特征拼接基线方法上的优越性。

提出的方法

• 作者使用在Google Glass上运行的自定义应用程序，采集同步的第一人称视频与传感器数据（如加速度计、陀螺仪等）。
• 采用最先进的方法从第一人称视频中提取密集轨迹特征，以捕捉自我运动模式。
• 通过滑动窗口方法对传感器数据应用统计计算（均值、标准差、峰值间隔等），提出传感器数据的时间特征向量（TFVS），以捕捉时间动态特性。
• 将费雪核框架应用于融合视频费雪向量（FVV）与TFVS，通过将两者建模为高斯混合模型（GMMs），并从GMM参数中计算费雪向量。
• 最终得到的多模态费雪向量（MFV）将两种模态整合为单一的判别性特征表示，用于分类。
• 使用支持向量机（SVM）与决策树进行评估，将MFV与FVV、TFVS及特征拼接方法进行比较。

实验结果

研究问题

• RQ1 对传感器数据进行时间增强是否能提升第一人称活动识别性能，超越标准统计特征？
• RQ2 通过费雪核将视频轨迹特征与时间增强的传感器特征融合，是否能带来优于单模态或简单拼接方法的性能？
• RQ3 所提出的MFV框架在具有高视觉与上下文多样性的复杂、细粒度第一人称活动中表现如何？
• RQ4 与替代融合策略相比，MFV的计算成本如何？其在数据集规模增大时的可扩展性如何？

主要发现

• 所提出的多模态费雪向量（MFV）达到83.7%的分类准确率，显著优于仅使用视频的FVV（78.4%）与仅使用传感器的TFVS（69.0%）。
• 性能提升最大的类别出现在挑战性任务中，如“打电话”（从28.57%提升至51.1%）和“使用电脑”（从42.86%提升至64.96%），在这些场景中视觉线索模糊。
• 传感器数据的时间编码（TFVS）优于基础统计特征，表明加速度计信号中的时间模式携带对活动识别具有判别性的信息。
• MFV优于FVV与TFVS的特征拼接（82.2%），表明费雪核融合比早期或晚期融合策略更有效。
• MFV的计算成本较低（全数据集处理时间低于1分钟），尽管高于单模态方法，但具备实际应用可行性。
• 数据集在场景、光照与个人风格上的多样性，验证了MFV在真实第一人称环境下的鲁棒性。