[论文解读] PM-GANs: Discriminative Representation Learning for Action Recognition Using Partial-modalities

Lan Wang, Chenqiang Gao+4 more|arXiv (Cornell University)|Apr 17, 2018

Human Pose and Action Recognition参考文献 40被引用 7

一句话总结

该论文提出PM-GANs，一种新型生成对抗网络，仅使用部分模态（特别是从红外输入生成可见光谱特征）即可学习用于动作识别的判别性全模态表征。该方法在新公开的红外-可见光动作数据集上实现了78%的准确率，优于四种最先进方法。

ABSTRACT

Data of different modalities generally convey complimentary but heterogeneous information, and a more discriminative representation is often preferred by combining multiple data modalities like the RGB and infrared features. However in reality, obtaining both data channels is challenging due to many limitations. For example, the RGB surveillance cameras are often restricted from private spaces, which is in conflict with the need of abnormal activity detection for personal security. As a result, using partial data channels to build a full representation of multi-modalities is clearly desired. In this paper, we propose a novel Partial-modal Generative Adversarial Networks (PM-GANs) that learns a full-modal representation using data from only partial modalities. The full representation is achieved by a generated representation in place of the missing data channel. Extensive experiments are conducted to verify the performance of our proposed method on action recognition, compared with four state-of-the-art methods. Meanwhile, a new Infrared-Visible Dataset for action recognition is introduced, and will be the first publicly available action dataset that contains paired infrared and visible spectrum.

研究动机与目标

• 解决在隐私或环境限制下仅能获取单一模态（如红外）时的动作识别挑战。
• 学习异质模态（如红外与可见光）之间的可迁移表征，以重建缺失的数据特征。
• 仅使用部分输入模态构建判别性全模态表征，以提升动作识别性能。
• 提出首个公开可用的配对红外与可见光视频数据集，用于动作识别。

提出的方法

• 训练一个条件生成对抗网络（cGAN），将红外特征转换为合成的可见光谱特征。
• 使用判别器区分真实可见光特征与生成特征，以强制生成特征符合真实分布。
• 将生成的可见光特征与真实红外特征结合，形成用于分类的全模态表征。
• 采用判别性预测头，通过对抗训练联合优化特征生成与动作分类。
• 采用两阶段训练策略：首先使用重建损失预训练生成器，然后联合微调生成器与判别器。
• 应用一种融合策略，在分类前将红外特征与生成的可见光特征拼接，实现端到端学习。

实验结果

研究问题

• RQ1 生成模型能否有效从单一可用模态（如红外）重建缺失模态特征（如可见光）以用于动作识别？
• RQ2 所生成的表征在不同环境条件下（如季节变化）的泛化能力如何？
• RQ3 在推理阶段仅使用部分模态时，所提出的PM-GANs框架是否优于最先进方法？
• RQ4 对抗学习在多大程度上能提升从不完整数据中衍生的全模态表征的判别能力？

主要发现

• PM-GANs在所提出的红外-可见光数据集上实现了78%的动作识别准确率，优于四种最先进方法。
• 生成的RGB特征性能优于仅使用真实红外特征的模型（准确率为74.17%），证明了模态迁移的有效性。
• 在独立的冬季数据集上测试时，模型仅使用红外和生成的RGB特征即达到80.28%的准确率，显示出强大的泛化能力。
• 混淆矩阵显示，'punch'和'push'等相似动作常被误分类，表明在细粒度动作区分上仍存在挑战。
• 两流3D-CNN基线模型准确率为74.67%，而PM-GANs达到最高准确率78%，证实其优越性。
• 所提方法仅使用一种模态即可实现全模态表征学习，即使无法获取真实可见光数据，也证明了其有效性。