[論文レビュー] Making a Case for 3D Convolutions for Object Segmentation in Videos

Sabarinath Mahadevan, Ali Athar+4 more|arXiv (Cornell University)|Aug 26, 2020

Visual Attention and Saliency Detection参考文献 26被引用数 4

ひとこと要約

本稿では、空間的・時間的特徴抽出を活用することで、最先端の2D手法を上回る性能を示す、完全3次元畳み込みエンコーダ・デコーダネットワーク、3DC-Segを提案する。軽量な3D ResNetバックボーンと、デコーダに組み込まれた新規の3Dグローバル畳み込みおよびリファインメントモジュールを用いることで、DAVIS’16、FBMS、ViSalベンチマークにおいて、より高い精度と高速な推論（4.5 fps）を達成した。

ABSTRACT

The task of object segmentation in videos is usually accomplished by processing appearance and motion information separately using standard 2D convolutional networks, followed by a learned fusion of the two sources of information. On the other hand, 3D convolutional networks have been successfully applied for video classification tasks, but have not been leveraged as effectively to problems involving dense per-pixel interpretation of videos compared to their 2D convolutional counterparts and lag behind the aforementioned networks in terms of performance. In this work, we show that 3D CNNs can be effectively applied to dense video prediction tasks such as salient object segmentation. We propose a simple yet effective encoder-decoder network architecture consisting entirely of 3D convolutions that can be trained end-to-end using a standard cross-entropy loss. To this end, we leverage an efficient 3D encoder, and propose a 3D decoder architecture, that comprises novel 3D Global Convolution layers and 3D Refinement modules. Our approach outperforms existing state-of-the-arts by a large margin on the DAVIS'16 Unsupervised, FBMS and ViSal dataset benchmarks in addition to being faster, thus showing that our architecture can efficiently learn expressive spatio-temporal features and produce high quality video segmentation masks. We have made our code and trained models publicly available at https://github.com/sabarim/3DC-Seg.

研究の動機と目的

• 顕著なオブジェクトセグメンテーションのような密な動画予測タスクに、3次元畳み込みが効果的に適用可能であることを示すこと。
• 動画セグメンテーションにおける従来の3D CNNの限界、例えば高い計算コストや大きなメモリ使用量を解決すること。
• 軽量な3Dエンコーダと強化された3Dデコーダを用いたアーキテクチャが、2Dベースの最先端手法を上回ることを示すこと。
• 空間的・時間的特徴抽出を向上させた、ピクセル単位の動画セグメンテーションを実現する完全3次元ネットワークのエンドツーエンド学習を可能にすること。
• 将来の動画理解タスクの強力なベースラインとして、高速で正確かつ汎用性の高い3D CNNアーキテクチャを確立すること。

提案手法

• 計算効率の良い3D ResNet（動画行動分類から事前学習）を、メモリと計算量を削減するノーマルストライドを用いた軽量エンコーダとして採用する。
• デコーダで空間的および時間的次元にわたりグローバルなコンテキストを集約する、新規の3Dグローバル畳み込み層を導入する。
• 特徴マップを段階的に精錬し、予測の空間的・時間的一致性を向上させるために、3Dリファインメントモジュールを採用する。
• バイナリセグメンテーションマスクの標準的な交差エントロピー損失を用いてエンドツーエンド学習を行う。
• 完全な動画再帰を必要とせず、時間的整合性を維持するために、フレームオーバーラップ戦略（T_o = 3）を適用する。
• アトラス畳み込みや深層特徴伝搬を避けることで、メモリ使用量を削減しながらも、大きな受容 field を維持する。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みネットワークは、顕著なオブジェクトセグメンテーションのような密な動画セグメンテーションタスクに効果的に適用可能か？
• RQ2 軽量なエンコーダと強化された3Dデコーダを備えた完全3次元アーキテクチャが、既存の2Dベースの最先端手法を上回るか？
• RQ3 3Dネットワークは、2Dネットワークと比較して、より高い精度と高速な推論を達成しながら、データセット間での一般化性能を維持または向上させられるか？
• RQ4 ノーマルストライドおよび効率的なエンコーダの設計選択が、3次元動画セグメンテーションにおける性能と計算効率に与える影響はどの程度か？
• RQ5 3Dグローバル畳み込みおよびリファインメントモジュールの設計が、動画セグメンテーションにおける空間的・時間的特徴抽出にどの程度寄与するか？

主な発見

• DAVIS’16では91.8%のF-measureと0.015のMAEを達成し、2番目に良い手法（AD-Net）をF-measureで11.0ポイント上回った。
• FBMSでは84.5%のF-measureと0.048のMAEを達成し、以前の最先端手法（STem-Seg）をF-measureで7.3ポイント上回った。
• ViSalでは92.2%のF-measureと0.019のMAEを達成し、データセット特化の微調整なしに強く汎用性のある性能を示した。
• NVIDIA GTX-1080Ti上で1フレームあたり0.22秒（4.5 fps）の推論速度を達成し、次に速い手法（AD-Net、2.6 fps）よりも42%高速であった。
• アブレーションスタディの結果、提案された3Dデコーダ部品（グローバル畳み込みおよびリファインメント）が重要であることが判明し、それらを削除するとF&Fが4.7%低下した。
• DAVISでの微調整に限定したにもかかわらず、3DC-Segは、Houら（2019）の従来の3D CNNアプローチをF&Fで5.0%上回った。