[論文レビュー] TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection

Kyle Min, Jason J. Corso|arXiv (Cornell University)|Aug 15, 2019

Visual Attention and Saliency Detection参考文献 40被引用数 17

ひとこと要約

TASED-Net は、3次元の完全畳み込み型エンコーダデコーダーネットワークであり、空間的デコードと時間的集約を同時に実行するための新しい補助プーリング機構を用いて、効果的なマックスアンプーリングを可能にする。DHF1K、Hollywood2、UCFSportsの3つのデータセットにおいて、顕著な動きを示すオブジェクトに注目する点で、従来の最先端手法を顕著に上回っている。

ABSTRACT

TASED-Net is a 3D fully-convolutional network architecture for video saliency detection. It consists of two building blocks: first, the encoder network extracts low-resolution spatiotemporal features from an input clip of several consecutive frames, and then the following prediction network decodes the encoded features spatially while aggregating all the temporal information. As a result, a single prediction map is produced from an input clip of multiple frames. Frame-wise saliency maps can be predicted by applying TASED-Net in a sliding-window fashion to a video. The proposed approach assumes that the saliency map of any frame can be predicted by considering a limited number of past frames. The results of our extensive experiments on video saliency detection validate this assumption and demonstrate that our fully-convolutional model with temporal aggregation method is effective. TASED-Net significantly outperforms previous state-of-the-art approaches on all three major large-scale datasets of video saliency detection: DHF1K, Hollywood2, and UCFSports. After analyzing the results qualitatively, we observe that our model is especially better at attending to salient moving objects.

研究の動機と目的

• LSTM などの再帰的ユニットを用いるか、空間的および時間的情報を別々に処理する従来の動画サリエンシー・モデルの限界を是正すること。
• 空間的および時間的特徴を統合的にモデル化する完全畳み込み型アーキテクチャを構築し、より優れたサリエンシー予測を実現すること。
• デコーダーのアップスケーリング段階におけるマックスアンプーリング層における時間的受容 field の不一致という課題を克服すること。
• 限定的な過去フレーム数に依存する条件付けが、動画サリエンシー予測において十分かつ効果的であることを検証すること。
• LSTM を用いた逐次処理と比較して、統合的空間時間的モデリングが動画サリエンシー検出において優れていることを示すこと。

提案手法

• 入力クリップの T 個の連続フレームから低次元の空間時間的特徴を抽出するために、Kinetics で事前学習された S3D をエンコーダーとして使用する。
• 予測ネットワークは、逆畳み込み層とマックスアンプーリング層を用いて空間的スケーリングを実行し、補助プーリングにより時間的再構成に適切なサイズのスイッチを提供する。
• 補助プーリングは、時間的次元を縮小した追加のマックスプールングを導入し、マックスアンプーリング層のための有効なスイッチを生成することで、プールングとアンプーリングの時間的範囲の不一致を解消する。
• スライディングウィンドウ推論戦略を用いて、1つの入力クリップに対して1つのサリエンシー地図を予測し、全動画にわたりフレーム単位のサリエンシー予測を可能にする。
• LSTM などの再帰的ユニットを避ける代わりに、完全畳み込み型演算を用いて、空間的デコードと時間的集約を同時に処理する。
• 標準的な指標（NSS、CC、SIM、AUC-J、s-AUC）を用いて、3つの大規模データセットで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み型ネットワークが、LSTM を用いた手法を上回る動画サリエンシー検出を実現するために、空間的デコードと時間的集約を同時に処理できるか？
• RQ2 固定数の過去フレームに依存する条件付けは有効であり、最適なウィンドウサイズは何か？
• RQ3 時間的受容 field が不一致する場合でも、マックスアンプーリング層を3次元デコーダーで効果的に使用できるか？
• RQ4 提案された補助プーリング機構は、補間や逆畳み込みと比較して優れているか？
• RQ5 統合的空間時間的モデリングは、従来の手法と比較して、動く顕著なオブジェクトに優れた注目を向けるか？

主な発見

• TASED-Net は、DHF1K、Hollywood2、UCFSports の3つのベンチマークデータセットにおいて、すべてで最先端の性能を達成しており、DHF1K では平均 NSS 2.706 を記録した。
• 従来の SOTA メソッドを顕著に上回り、DHF1K においては次の最高手法と比較して NSS で 0.122 の向上を達成した。
• T=32 フレーム（約1秒の動画）を用いた TASED-Net が最良の性能を示し、最適なサリエンシー予測には固定ウィンドウの過去フレームが十分であることを示した。
• アブレーションスタディにおいて、補助プーリングは補間法と逆畳み込みの両方を上回り、その必要性と有効性を示した。
• より深い空間的デコード（逆畳み込み層の増加）は性能をわずかに低下させたため、セグメンテーションタスクとは異なり、正確な空間再構成はサリエンシー予測においてあまり重要でないことが示唆された。
• 1つのウィンドウに対して複数のサリエンシー地図を予測すると性能が低下したため、時間的集約を伴う単一地図予測がより効果的であることが確認された。