[论文解读] Human Action Recognition in Drone Videos using a Few Aerial Training Examples

Waqas Sultani, Mubarak Shah|arXiv (Cornell University)|Oct 22, 2019

Human Pose and Action Recognition被引用 4

一句话总结

本文提出了一种不相交的多任务学习框架，利用视频游戏生成的合成数据和 GAN 生成的航拍特征，提升在仅拥有少量真实航拍训练样本时的无人机视频中人类动作识别性能。通过交替训练整合游戏视频和 GAN 生成的特征，该方法在 YouTube-Aerial 上实现了高达 68.2% 的平均准确率，在 UCF-ARG 上实现了 35.9% 的准确率，表明合成数据可有效弥补航拍动作识别中真实数据稀缺的问题。

ABSTRACT

Drones are enabling new forms of human actions surveillance due to their low cost and fast mobility. However, using deep neural networks for automatic aerial action recognition is difficult due to the need for a large number of training aerial human action videos. Collecting a large number of human action aerial videos is costly, time-consuming, and difficult. In this paper, we explore two alternative data sources to improve aerial action classification when only a few training aerial examples are available. As a first data source, we resort to video games. We collect plenty of aerial game action videos using two gaming engines. For the second data source, we leverage conditional Wasserstein Generative Adversarial Networks to generate aerial features from ground videos. Given that both data sources have some limitations, e.g. game videos are biased towards specific actions categories (fighting, shooting, etc.,), and it is not easy to generate good discriminative GAN-generated features for all types of actions, we need to efficiently integrate two dataset sources with few available real aerial training videos. To address this challenge of the heterogeneous nature of the data, we propose to use a disjoint multitask learning framework. We feed the network with real and game, or real and GAN-generated data in an alternating fashion to obtain an improved action classifier. We validate the proposed approach on two aerial action datasets and demonstrate that features from aerial game videos and those generated from GAN can be extremely useful for an improved action recognition in real aerial videos when only a few real aerial training examples are available.

研究动机与目标

• 解决无人机画面中人类动作识别因真实航拍训练视频有限而带来的挑战。
• 探索替代性数据源——视频游戏和 GAN 生成的特征——以扩充稀缺的真实航拍数据。
• 开发一种稳健的方法，将异构数据源（游戏视频和 GAN 特征）与真实航拍样本有效整合。
• 在数据源之间存在领域偏移和标签差异的情况下，提升航拍动作分类的泛化能力和准确率。
• 在基准航拍动作识别数据集上验证所提框架的有效性。

提出的方法

• 使用如 GTA 和 FIFA 等逼真游戏引擎收集大规模航拍游戏视频，以模拟真实世界的无人机环境。
• 采用条件 Wasserstein GAN 从地面视角视频生成具有区分性的航拍风格特征，模拟无人机摄像头视角。
• 设计一种不相交多任务学习框架，通过交替训练真实数据、游戏数据和 GAN 生成数据，以处理标签和领域差异。
• 使用真实航拍视频、游戏视频和 GAN 生成的特征组合训练动作分类器，且不同数据源之间无需对齐的动作标签。
• 采用多种 3D CNN 主干网络（MFN-3D、I3D、ResNet-3D）以评估所提方法在不同网络架构下的鲁棒性与泛化能力。
• 使用混淆矩阵和类别级准确率分析，评估相似动作之间误分类的减少情况。

实验结果

研究问题

• RQ1 视频游戏视频能否作为提升真实无人机视频动作识别性能的可行合成数据源？
• RQ2 当仅有少量真实样本时，GAN 生成的航拍特征能否有效增强真实训练数据？
• RQ3 如何有效整合具有不同动作标签的异构数据源（游戏视频和 GAN 生成特征）到单一动作识别模型中？
• RQ4 不相交多任务学习是否能提升航拍视频动作识别的分类准确率，并减少相似动作之间的混淆？
• RQ5 所提方法在不同 3D CNN 架构和基准数据集上的泛化能力如何？

主要发现

• 在使用不相交多任务学习结合游戏视频和 GAN 生成特征进行训练时，该方法在 YouTube-Aerial 数据集上实现了 68.2% 的平均准确率，显著优于仅使用真实数据训练（51.3%）或仅使用单一合成数据源的情况。
• 在 UCF-ARG 数据集上，该方法使用游戏和 GAN 数据时实现了 35.92% 的平均准确率，优于使用真实地面视频（21.33%）或任一合成数据源单独训练的结果。
• 对于具有明显运动模式的动作（如 Biking、Swing、Kayaking、Carry、Clap 和 Running），该方法取得了最大提升，特定类别准确率最高提升了 60%。
• 混淆矩阵显示，相似动作之间的误分类显著减少，整体准确率从无 DML 时的 51.3% 提升至使用双源数据的 DML 框架下的 64.5%。
• 在 YouTube-Aerial 的 8 个类别中有 5 个类别、UCF-ARG 的 10 个类别中有 6 个类别中，使用双合成数据源时该方法优于基线模型，表明其具有强大的泛化能力。
• 该方法在具有清晰运动线索的动作上表现尤为出色，但在具有强烈背景干扰（如 Diving）或身体运动极少（如 Skateboarding）的动作上效果较弱。