[论文解读] How Drones Look: Crowdsourced Knowledge Transfer for Aerial Video Saliency Prediction.

Kui Fu, Jia Li+2 more|arXiv (Cornell University)|Nov 14, 2018

Visual Attention and Saliency Detection参考文献 73被引用 4

一句话总结

本文提出了一种众包多路径网络（CMNet），通过将地面级显著性模型的知识迁移，以提升航拍视频中的时空显著性预测性能。CMNet 融合了 24 名受试者在 1,000 段航拍视频上的眼动追踪数据，采用由经典模型初始化的多路径架构，通过数据驱动方式选择代表性路径，并结合时间建模进行联合微调，在航拍视频显著性预测任务上达到最先进性能。

ABSTRACT

In ground-level platforms, many saliency models have been developed to perceive the visual world as the human does. However, they may not fit a drone that can look from many abnormal viewpoints. To address this problem, this paper proposes a Crowdsourced Multi-path Network (CMNet) that transfer the ground-level knowledge for spatiotemporal saliency prediction in aerial videos. To train CMNet, we first collect and fuse the eye-tracking data of 24 subjects on 1,000 aerial videos to annotate the ground-truth salient regions. Inspired by the crowdsourced annotation in eye-tracking experiments, we design a multi-path architecture for CMNet, in which each path is initialized under the supervision of a classic ground-level saliency model. After that, the most representative paths are selected in a data-driven manner, which are then fused and simultaneously fine-tuned on aerial videos. In this manner, the prior knowledge in various classic ground-level saliency models can be transferred into CMNet so as to improve its capability in processing aerial videos. Finally, the spatial predictions given by CMNet are adaptively refined by incorporating the temporal saliency predictions via a spatiotemporal saliency optimization algorithm. Experimental results show that the proposed approach outperforms ten state-of-the-art models in predicting visual saliency in aerial videos.

研究动机与目标

• 解决将地面级显著性模型适配至具有非人类视角、异常视角的航拍视频的挑战。
• 利用众包眼动追踪数据，为航拍视频创建高质量、人工标注的显著性图作为真实标签。
• 设计一种多路径神经网络架构，将成熟地面级显著性模型的先验知识迁移至航拍领域。
• 通过优化算法融合空间与时间预测，提升时空显著性预测性能。
• 在航拍视频显著性预测任务中，证明其性能优于现有最先进模型。

提出的方法

• 收集并融合 24 名受试者观看 1,000 段航拍视频的眼动追踪数据，生成真实标签显著性图。
• 设计一种多路径网络（CMNet），其中每条路径均使用预训练的地面级显著性模型进行初始化，以注入先验知识。
• 基于性能与多样性，通过数据驱动方式选择最具代表性的路径，以减少冗余。
• 通过拼接方式融合选定路径，并在航拍视频数据上进行联合微调，以适应航拍视角。
• 应用时空显著性优化算法，利用视频序列中的时间上下文信息，优化空间预测结果。
• 使用众包显著性标注作为监督信号，端到端训练整个 CMNet 模型。

实验结果

研究问题

• RQ1 能否有效迁移地面级显著性模型的知识，以提升航拍视频中的显著性预测性能？
• RQ2 基于多样化地面级模型初始化的多路径架构，在航拍视频显著性预测中如何提升性能？
• RQ3 引入时间动态因素在多大程度上可提升航拍视频序列中的空间显著性预测性能？
• RQ4 众包眼动追踪数据能否作为航拍视频理解中深度学习模型训练的可靠监督信号？
• RQ5 在航拍视频显著性预测任务中，所提出的 CMNet 与最先进模型相比，在准确率与鲁棒性方面表现如何？

主要发现

• 所提出的 CMNet 在航拍视频视觉显著性预测中优于十种最先进模型，展现出更优的泛化能力与准确性。
• 利用 24 名受试者的众包眼动追踪数据，显著提升了真实标签显著性标注的质量与人类相似度。
• 基于数据驱动路径选择的多路径架构，有效利用了经典地面级模型提供的多样化先验知识。
• 在航拍数据上对选定路径进行联合微调，实现了对非标准航拍视角的有效适应。
• 时空优化步骤通过整合视频帧间的时间一致性，提升了预测准确性。
• 该模型在多个评估指标上达到最先进性能，证实了知识迁移与多路径学习在航拍视频理解中的有效性。