[论文解读] MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Action Recognition

Ruiqi Xian, Xijun Wang+1 more|arXiv (Cornell University)|Mar 5, 2023

Human Pose and Action Recognition被引用 4

一句话总结

MITFAS 提出了一种基于互信息的时序特征对齐与帧采样方法，用于无人机视频动作识别，解决了高空视角下人体尺度小、视角变化和遮挡带来的挑战。通过在帧间对齐与运动相关的特征，并利用联合互信息选择最具信息量的帧序列，MITFAS 在 UAV-Human 上比 SOTA 方法提升 18.9% 的 Top-1 准确率，在 Drone-Action 上提升 7.3%，在 NEC Drones 上提升 7.16%。

ABSTRACT

We present a novel approach for action recognition in UAV videos. Our formulation is designed to handle occlusion and viewpoint changes caused by the movement of a UAV. We use the concept of mutual information to compute and align the regions corresponding to human action or motion in the temporal domain. This enables our recognition model to learn from the key features associated with the motion. We also propose a novel frame sampling method that uses joint mutual information to acquire the most informative frame sequence in UAV videos. We have integrated our approach with X3D and evaluated the performance on multiple datasets. In practice, we achieve 18.9% improvement in Top-1 accuracy over current state-of-the-art methods on UAV-Human(Li et al., 2021), 7.3% improvement on Drone-Action(Perera et al., 2019), and 7.16% improvement on NEC Drones(Choi et al., 2020).

研究动机与目标

• 解决由于高空摄像机视角导致的无人机视频中人体尺度小且多变的问题。
• 克服视角变化、遮挡和动态背景对空中视频动作识别带来的困难。
• 在训练过程中使模型更关注人体运动特征，而非背景变化。
• 开发一种帧采样策略，以选择最具有信息量且具有差异性的帧序列用于训练。
• 实现与现有视频识别主干网络（如 X3D）的有效集成，无需微调或领域特定适应。

提出的方法

• 使用互信息作为准则，对连续帧之间的时空特征进行对齐，最大化运动相关区域的相似性。
• 应用像素级特征对齐技术，估计最优变换参数（ω*），以对齐帧间的动作区域。
• 提出基于参考帧的迭代对齐过程，其中每一帧依次与前一帧对齐后的区域进行对齐。
• 提出一种基于联合互信息的新型帧采样方法，以选择最具信息量且多样化的帧序列。
• 通过互信息与联合互信息的加权组合（公式 11）制定帧选择准则，其中超参数为 α 和 β。
• 将所提出的对齐与采样模块与 X3D 主干网络集成，实现端到端的视频动作识别。

Figure 1 : $F_{t}$ and $F_{t+1}$ are two frames at time $t$ and $t+1$ , respectively, from the same UAV video. The human actor in the two frames occupies less than 10% of the pixels due to the high camera altitude (top images). (a) MITFAS will focus on the regions corresponding to salient motions an

实验结果

研究问题

• RQ1 在高空摄像机视角和视角变化较大的无人机视频中，如何有效利用互信息对齐帧间与运动相关的特征？
• RQ2 基于互信息的何种帧采样策略能够为训练空中动作识别模型生成最具信息量且多样化的帧序列？
• RQ3 当与标准视频识别主干网络（如 X3D）结合时，时序特征对齐在多大程度上提升了识别准确率？
• RQ4 在无人机视频基准测试中，所提出方法与均匀采样、随机采样和自适应采样基线相比，在 Top-1 准确率上的表现如何？
• RQ5 在无人机视频动作识别背景下，互信息是否作为相似性度量优于其他指标（如 L2 距离或余弦相似度）？

主要发现

• MITFAS 在 UAV-Human 数据集上比当前最先进方法高出 18.9% 的 Top-1 准确率，较基线 X3D 提升 20.2%。
• 在 Drone-Action 数据集上，MITFAS 相比 SOTA 方法提升 Top-1 准确率 7.3%，较使用均匀采样的基线 X3D 提升 16.6%。
• 在 NEC Drones 数据集上，MITFAS 实现 78.62% 的 Top-1 准确率，较之前 SOTA 提升 7.18%。
• 所提出的时序特征对齐（TFA）在与 X3D 及多种采样方法结合时，使 Top-1 准确率提升 16–17.5%。
• 在帧相似性评估中，互信息优于其他相似性度量（如 L2、余弦），在 UAV-Human 上取得最高准确率（表 8）。
• 帧选择准则的最优超参数为 α = 1.0 和 β = 1.0，表明互信息与联合互信息两个分量在帧选择中同等重要。

Figure 2 : Given a starting frame $F_{t}$ in a UAV video, we use a localization network to localize the human action and crop the region containing the human motion as the reference image $F_{r}$ . At time $t+1$ , we use our feature alignment algorithm to estimate the optimal operation parameter $\o