[論文レビュー] Video Saliency Detection by 3D Convolutional Neural Networks

Guanqun Ding, Yuming Fang|arXiv (Cornell University)|Jul 12, 2018

Visual Attention and Saliency Detection参考文献 19被引用数 5

ひとこと要約

本論文では、3つの連続する動画フレームからの空間時間的特徴抽出を活用して正確なサリエンシーマップを予測する、3次元畳み込みニューラルネットワーク（Conv3DNet）および3次元デコンボリューションネットワーク（Deconv3DNet）フレームワークを提案する。この手法は、SegTrackV2およびDAVISデータセットにおいて、PLCC、AUC、NSSの指標で、既存の手法を上回る最先端の性能を達成した。

ABSTRACT

Different from salient object detection methods for still images, a key challenging for video saliency detection is how to extract and combine spatial and temporal features. In this paper, we present a novel and effective approach for salient object detection for video sequences based on 3D convolutional neural networks. First, we design a 3D convolutional network (Conv3DNet) with the input as three video frame to learn the spatiotemporal features for video sequences. Then, we design a 3D deconvolutional network (Deconv3DNet) to combine the spatiotemporal features to predict the final saliency map for video sequences. Experimental results show that the proposed saliency detection model performs better in video saliency prediction compared with the state-of-the-art video saliency detection methods.

研究の動機と目的

• 動画サリエンシーディテクションのための空間的および時間的特徴を効果的に抽出・統合する課題に対処すること。
• 手作業で設計された低レベル特徴および固定された統合ルールに依存する従来手法の限界を克服すること。
• 動画シーケンス内のハイレベルな意味的特徴および運動の手がかりを捉えることができるエンドツーエンドのディープラーニングフレームワークを開発すること。
• 特に小さな物体や高速で動く物体のサリエンシーディテクションの精度を向上させること。
• 3次元畳み込みおよびデコンボリューションネットワークがサリエンシーディテクションのための空間時間的ダイナミクスをモデル化する有効性を示すこと。

提案手法

• 提案されたモデルは、3つの連続する動画フレームを入力として受け取り、共同の空間時間的特徴を抽出する3次元畳み込みネットワーク（Conv3DNet）を用いる。
• Conv3DNetは5つのブロックから構成され、各ブロックは3次元畳み込み層、バッチ正規化、ReLU活性化関数、および3次元のマックスプーリング層を組み合わせている。
• 学習された空間時間的特徴をアップサンプリングおよび統合して最終的なサリエンシーマップを予測するために、3次元デコンボリューションネットワーク（Deconv3DNet）が設計されている。
• ネットワークは、前方伝播中に損失を最小化するために、中央フレーム（It）の真値サリエンシーマップを用いてエンドツーエンドで学習される。
• 運動および空間的コンテキストを捉えるために、時間的深さをd、空間フィルターサイズをkとする3次元カーネル（d×k×k）が採用されている。
• 3次元畳み込みおよびデコンボリューション層の出力形状は、f×h×w×cとして表され、それぞれフレーム数、高さ、幅、チャネル数を示す。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みネットワークは、動画サリエンシーディテクションのための共同空間時間的特徴を効果的に学習できるか？
• RQ2 手作業で設計された特徴に依存する従来手法と比較して、3次元畳み込みを用いたエンドツーエンド学習はどのように優れているか？
• RQ3 3次元デコンボリューションネットワークは、階層的特徴から高解像度のサリエンシーマップを効果的に再構築できるか？
• RQ4 提案手法は、PLCC、AUC、NSSの指標において、既存の最先端手法を上回る性能を示すか？
• RQ5 複雑な動画シーンにおける小さな物体や高速で動くサリエンスな物体を、モデルはどの程度うまく処理できるか？

主な発見

• 提案手法は、SegTrackV2データセットで最高のPLCCスコア0.7838を達成し、比較対象の全手法を上回った。
• DAVISデータセットでは、PLCCが0.8145を記録し、2番目に良い手法（MultiTask）の0.8138を上回った。
• SegTrackV2ではAUCスコアが0.9107、DAVISでは0.9325を記録し、優れた分類性能を示した。
• SegTrackV2ではNSSスコアが3.0830、DAVISでは2.9485に達し、人間の注視パターンとの整合性が優れていることを示した。
• 図4の可視化比較では、ベースライン手法と比較して、提案手法がよりクリアなサリエンシーマップを生成し、背景の誤検出が少ないことを示した。
• 図3のROC曲線は、両データセットにおいて提案手法が一貫して既存手法を上回っていることを確認した。