[論文レビュー] How Drones Look: Crowdsourced Knowledge Transfer for Aerial Video Saliency Prediction.

Kui Fu, Jia Li+2 more|arXiv (Cornell University)|Nov 14, 2018

Visual Attention and Saliency Detection参考文献 73被引用数 4

ひとこと要約

本稿では、地上レベルのサリエンシー・モデルから得た知識を転送することで、空中動画における時空間的サリエンシー予測を向上させる、クラウドソーシング型マルチパス・ネットワーク（CMNet）を提案する。24名の被験者から得た眼動追跡データを1,000本の空中動画に統合し、古典的モデルで初期化されたマルチパス・アーキテクチャを用い、代表的なパスを選択して時系列の微調整を併用することで、空中動画のサリエンシー予測において最先端の性能を達成した。

ABSTRACT

In ground-level platforms, many saliency models have been developed to perceive the visual world as the human does. However, they may not fit a drone that can look from many abnormal viewpoints. To address this problem, this paper proposes a Crowdsourced Multi-path Network (CMNet) that transfer the ground-level knowledge for spatiotemporal saliency prediction in aerial videos. To train CMNet, we first collect and fuse the eye-tracking data of 24 subjects on 1,000 aerial videos to annotate the ground-truth salient regions. Inspired by the crowdsourced annotation in eye-tracking experiments, we design a multi-path architecture for CMNet, in which each path is initialized under the supervision of a classic ground-level saliency model. After that, the most representative paths are selected in a data-driven manner, which are then fused and simultaneously fine-tuned on aerial videos. In this manner, the prior knowledge in various classic ground-level saliency models can be transferred into CMNet so as to improve its capability in processing aerial videos. Finally, the spatial predictions given by CMNet are adaptively refined by incorporating the temporal saliency predictions via a spatiotemporal saliency optimization algorithm. Experimental results show that the proposed approach outperforms ten state-of-the-art models in predicting visual saliency in aerial videos.

研究の動機と目的

• 異常で人間らしくない視点を持つ空中動画に、地上レベルのサリエンシー・モデルを適応させる課題に対処すること。
• クラウドソーシング型眼動追跡データを活用して、空中動画用の高品質で人間がアノテートした真値サリエンシー地図を生成すること。
• 既存の地上レベルのサリエンシー・モデルから知識を転送できるマルチパス・ニューラルネットワーク・アーキテクチャを設計すること。
• 最適化アルゴリズムを用いて空間的および時系列的予測を統合することで、時空間的サリエンシー予測を向上させること。
• 既存の最先端モデルと比較して、空中動画のサリエンシー予測において優れた性能を示すことを実証すること。

提案手法

• 24名の被験者が1,000本の空中動画を視聴した際の眼動追跡データを収集・統合し、真値サリエンシー地図を生成する。
• 各パスが事前に学習された地上レベルのサリエンシー・モデルで初期化されるマルチパス・ネットワーク（CMNet）を設計する。
• 性能と多様性に基づいてデータ駆動的に最も代表的なパスを選択し、重複を低減する。
• 選択されたパスの統合は、連結と空中動画データにおける共同微調整によって行われ、空中の視点に適応する。
• 時系列的文脈を活用して空間的予測を改善するため、時空間的サリエンシー最適化アルゴリズムを適用する。
• クラウドソーシングによるサリエンシー・アノテーションを教師として、CMNetを端末から端末まで教師あり学習で訓練する。

実験結果

リサーチクエスチョン

• RQ1 地上レベルのサリエンシー・モデルからの知識は、空中動画におけるサリエンシー予測の向上に効果的に転送可能か？
• RQ2 多様な地上レベルのモデルで初期化されたマルチパス・アーキテクチャは、空中動画のサリエンシー予測性能をどのように向上させるか？
• RQ3 時系列的ダイナミクスを統合することで、空中動画シーケンスにおける空間的サリエンシー予測はどの程度向上するか？
• RQ4 クラウドソーシング型眼動追跡データは、空中動画理解における深層学習モデルの学習に信頼できる教師信号として機能するか？
• RQ5 本稿で提案するCMNetは、空中動画のサリエンシー予測において、精度と頑健性の観点から既存の最先端モデルと比較してどのように差をつけるか？

主な発見

• 提案されたCMNetは、空中動画における視覚的サリエンシー予測において10の最先端モデルを上回り、優れた一般化性能と精度を示した。
• 24名の被験者からのクラウドソーシング型眼動追跡データの活用により、真値サリエンシー・アノテーションの品質と人間らしさが顕著に向上した。
• データ駆動的パス選択を施したマルチパス・アーキテクチャは、古典的地上レベルのサリエンシー・モデルからの多様な事前知識を効果的に活用できた。
• 選択されたパスを空中データ上で共同微調整することで、非標準的な空中視点への適応が有効に実現された。
• 時空間的最適化ステップにより、動画フレーム間の時系列的一致性を統合することで、予測精度が向上した。
• 複数の評価指標において、CMNetは最先端の性能を達成し、空中動画理解における知識転送とマルチパス学習の有効性を裏付けた。