[論文レビュー] Fast Video Salient Object Detection via Spatiotemporal Knowledge Distillation

Yi Tang, Yuan Li+1 more|arXiv (Cornell University)|Oct 20, 2020

Visual Attention and Saliency Detection参考文献 40被引用数 4

ひとこと要約

本稿では、複雑な逐次モジュールを用いない高精度な動画顕著オブジェクト検出を実現するため、空間時間的知識蒸留を用いた軽量なニューラルネットワークを提案する。空間的蒸留と顕著性ガイドド特徴埋め込みを組み合わせ、推論フレーム特徴符号化による時間的蒸留を実装することで、1フレームあたり0.01秒の推論時間で最先端の性能を達成する。

ABSTRACT

Since the wide employment of deep learning frameworks in video salient object detection, the accuracy of the recent approaches has made stunning progress. These approaches mainly adopt the sequential modules, based on optical flow or recurrent neural network (RNN), to learn robust spatiotemporal features. These modules are effective but significantly increase the computational burden of the corresponding deep models. In this paper, to simplify the network and maintain the accuracy, we present a lightweight network tailored for video salient object detection through the spatiotemporal knowledge distillation. Specifically, in the spatial aspect, we combine a saliency guidance feature embedding structure and spatial knowledge distillation to refine the spatial features. In the temporal aspect, we propose a temporal knowledge distillation strategy, which allows the network to learn the robust temporal features through the infer-frame feature encoding and distilling information from adjacent frames. The experiments on widely used video datasets (e.g., DAVIS, DAVSOD, SegTrack-V2) prove that our approach achieves competitive performance. Furthermore, without the employment of the complex sequential modules, the proposed network can obtain high efficiency with 0.01s per frame.

研究の動機と目的

• 光学フローまたはRNNなどの複雑な逐次モジュールに依存する従来の動画顕著オブジェクト検出モデルの高い計算コストを解消すること。
• モデルの複雑さと推論時間を顕著に削減しながらも、高い検出精度を維持すること。
• 外部の逐次モジュールを用いずに、知識蒸留を活用して強力な空間時間的特徴を抽出する軽量なネットワークを開発すること。
• 空間的および時間的知識蒸留のコンponentsが動画顕著性の特徴表現をどのように向上させるかを検証すること。

提案手法

• 顕著領域に注目することで空間的特徴表現を強化する顕著性ガイドド特徴埋め込みモジュールを導入する。
• 教師モデルに類似た特徴マップから知識を転送することで、特徴を精緻化する空間的知識蒸留を採用する。
• 隣接フレームの特徴を監視として用いることで、現在のフレームの特徴学習をガイドする時間的知識蒸留を提案する。
• 隣接フレームの高レベル特徴を統合するために、相互注意ブロックを用いた推論フレーム特徴符号化モジュールを組み込む。
• バランス係数 α = 0.7 を用いて交差エントロピー損失と蒸留損失の重み付き組み合わせで学習を最適化する。
• ネットワーク自身の予測結果を監視として活用する自己蒸留を適用することで、外部教師モデルの必要性を低減する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を動画顕著オブジェクト検出に効果的に適用することで、モデルの複雑さを減らしつつ精度を損なわずに済ませられるか？
• RQ2 光学フローもRNNも使わずに、軽量なネットワークで空間時間的特徴を効果的に学習できるか？
• RQ3 隣接フレームからの情報伝達と符号化を最適化するにはどのような方法が効果的か？
• RQ4 交差エントロピー損失と蒸留損失のバランスが最終的な性能にどのように影響するか？

主な発見

• 提案手法はDAVISデータセットでF-measure 0.883、MAE 0.022を達成し、逐次モジュールを含まないベースラインモデルを上回る性能を示した。
• 空間的知識蒸留の導入により、ベースラインと比較してF-measureが1.9%向上し、MAEが1.4%低下した。
• 推論フレーム特徴符号化を用いた時間的蒸留、特に「Multiply」演算または相互注意を用いることで、性能が顕著に向上し、F-measureは0.882～0.883を達成した。
• 損失重み付けの最適なバランス係数 α は 0.7 であり、交差エントロピー損失と蒸留損失の最良なトレードオフを実現した。
• 推論時間は1フレームあたりたった0.01秒にまで短縮され、競争力のある精度を維持しながらも高い効率性を示した。
• テスト時には推論フレーム特徴符号化モジュールを削除しても性能に劣化が生じず、さらに推論速度が向上した。