[论文解读] ERA: A Dataset and Deep Learning Benchmark for Event Recognition in Aerial Videos

Lichao Mou, Yuansheng Hua+2 more|arXiv (Cornell University)|Jan 30, 2020

Advanced Image and Video Retrieval Techniques被引用 7

一句话总结

本文提出了ERA，一个大规模、人工标注的航拍视频数据集，包含从YouTube获取的2,864段5秒长的航拍视频剪辑，划分为25个事件类别，旨在推动非受限无人机视频中的事件识别研究。该研究对14种深度学习模型进行了基准测试，结果表明，利用时间线索的视频级模型（如使用Inception-v3主干网络的TRN）可达到64.3%的整体准确率，优于单帧方法，凸显了在航拍视频理解中时间建模的重要性。

ABSTRACT

Along with the increasing use of unmanned aerial vehicles (UAVs), large volumes of aerial videos have been produced. It is unrealistic for humans to screen such big data and understand their contents. Hence methodological research on the automatic understanding of UAV videos is of paramount importance. In this paper, we introduce a novel problem of event recognition in unconstrained aerial videos in the remote sensing community and present a large-scale, human-annotated dataset, named ERA (Event Recognition in Aerial videos), consisting of 2,864 videos each with a label from 25 different classes corresponding to an event unfolding 5 seconds. The ERA dataset is designed to have a significant intra-class variation and inter-class similarity and captures dynamic events in various circumstances and at dramatically various scales. Moreover, to offer a benchmark for this task, we extensively validate existing deep networks. We expect that the ERA dataset will facilitate further progress in automatic aerial video comprehension. The website is https://lcmou.github.io/ERA_Dataset/

研究动机与目标

• 为解决当前缺乏大规模、多样化且真实的非受限无人机航拍视频事件识别数据集的问题。
• 由于无人机生成的视频数据量持续增长，推动自动航拍视频理解方法的研究。
• 建立一个用于评估深度学习模型在航拍视频事件识别中表现的基准，尤其强调时间理解能力。
• 支持未来在航拍视频理解方面的研究，包括时间定位、多属性学习和视频检索等任务。
• 通过提供一个真实且具有挑战性的航拍视角事件识别基准，弥合遥感与计算机视觉之间的差距。

提出的方法

• ERA数据集通过从YouTube收集2,864段视频剪辑构建而成，每段视频时长5秒，涵盖包括自然灾害、城市活动和体育赛事在内的25种多样化事件类别。
• 每段视频均由人工标注为25个事件类别之一，确保类内显著差异和类间相似性，以反映现实世界的复杂性。
• 数据集设计旨在反映真实世界条件，包括不同尺度、光照、天气以及动态事件，从而增强其真实感与挑战性。
• 通过在该数据集上评估14种深度学习模型——7种单帧模型与7种视频分类模型——建立了全面的基准测试。
• 使用C3D、P3D ResNet、I3D和TRN等视频分类模型以捕捉时空特征，其预训练权重来自Kinetics、UCF101或ImageNet。
• 评估采用整体准确率（OA）作为主要指标，通过模型间性能对比，分析时间建模与网络架构选择的影响。

实验结果

研究问题

• RQ1 现有深度学习模型在仅使用空间特征或时空特征时，识别非受限航拍视频中事件的效率如何？
• RQ2 与单帧分类相比，时间建模在航拍视频事件识别中的性能提升程度如何？
• RQ3 在夜间或下雪等恶劣条件下，航拍事件识别面临的主要挑战是什么？
• RQ4 类内差异与类间相似性如何影响模型在航拍视频理解中的泛化能力与鲁棒性？
• RQ5 所提出的ERA数据集能否作为未来航拍视频事件识别及相关任务研究的可靠基准？

主要发现

• 在单帧模型中，DenseNet-201表现最佳，整体准确率达到62.3%，略优于Inception-v3。
• 采用Inception-v3主干网络的TRN视频分类模型取得最佳整体准确率64.3%，证明了时间建模的优势。
• 最佳视频模型（64.3%）与最佳单帧模型（62.3%）之间的差距证实，时间线索显著提升了航拍视频中的事件识别性能。
• 在低能见度条件下（如夜间场景或积雪环境），模型表现困难，常导致误分类。
• 对于视觉线索微弱或模糊的事件（如耕作或游行/抗议），需要有效的时序建模才能准确区分，TRN模型的高置信度预测结果已证明这一点。
• 尽管在清晰案例（如交通拥堵、火灾）中表现良好，但当事件相关属性（如人类动作）被遮挡或模糊时，模型仍存在失败情况。