[論文レビュー] Fast Video Object Segmentation using the Global Context Module

Yu Li, Zhuoran Shen+1 more|arXiv (Cornell University)|Jan 30, 2020

Visual Attention and Saliency Detection参考文献 43被引用数 8

ひとこと要約

本論文は、リアルタイムかつ高精度な半教師付き動画オブジェクトセグメンテーションのための新規グローバルコンテキストモジュールを提案する。過去のすべてのフレームの固定サイズの特徴表現を維持することで、DAVISおよびYouTube-VOSベンチマークで最先端の精度を達成するとともに、従来の最先端手法である空間時間メモリネットワーク（STM）と比較して3倍速く、はるかにメモリ効率が良い。

ABSTRACT

We developed a real-time, high-quality semi-supervised video object segmentation algorithm. Its accuracy is on par with the most accurate, time-consuming online-learning model, while its speed is similar to the fastest template-matching method with sub-optimal accuracy. The core component of the model is a novel global context module that effectively summarizes and propagates information through the entire video. Compared to previous approaches that only use one frame or a few frames to guide the segmentation of the current frame, the global context module uses all past frames. Unlike the previous state-of-the-art space-time memory network that caches a memory at each spatio-temporal position, the global context module uses a fixed-size feature representation. Therefore, it uses constant memory regardless of the video length and costs substantially less memory and computation. With the novel module, our model achieves top performance on standard benchmarks at a real-time speed.

研究の動機と目的

• 半教師付き動画オブジェクトセグメンテーションにおいて、高精度とリアルタイム性能を両立することに挑戦する。
• 動画長に比例して増加するメモリと計算コストに起因する、既存の空間時間メモリネットワークの非効率性を克服する。
• すべての過去のフレームからのセグメンテーション情報を要約する、コンパクトで固定サイズのグローバル表現を開発する。
• 誤差の累積やメモリオーバーフローを防ぎ、外観の変化、隠蔽、サイズ変化に対してもロバストなセグメンテーションを実現する。
• 長時間の動画やインテリジェントな動画編集などの実世界の応用に適した実用的でデプロイ可能なソリューションを構築する。

提案手法

• すべての以前に処理されたフレームからのセグメンテーション情報を要約する固定サイズの特徴表現を維持するグローバルコンテキストモジュールを提案する。
• 学習可能なキー機構を用いて空間的位置におけるアテンションマップを生成し、重み付き和による特徴の集約によりグローバルコンテキストベクトルを形成する。
• 各フレームごとにグローバルコンテキスト表現を段階的に更新することで、動画長に関係なく定常的なメモリと計算量を確保する。
• セグメンテーションネットワークにグローバルコンテキストモジュールを統合し、長距離の時系列コンテキストを用いてフレームごとの予測をガイドする。
• 主な実験では使用しないが、性能向上を図るためのソフト集約後処理モジュールを適用する（本手法と互換性がある）。
• 標準のベンチマーク（DAVIS 2016, DAVIS 2017, YouTube-VOS）と標準の指標（JIoUとF-measure）を用いて学習および評価を行う。

実験結果

リサーチクエスチョン

• RQ1 固定サイズのグローバルコンテキスト表現は、動画内のすべての過去のフレームからのセグメンテーション知識を効果的に捉え、伝搬できるか？
• RQ2 このような表現は、リアルタイム推論速度と低メモリ使用量を維持しながら、最先端の精度を達成できるか？
• RQ3 隠蔽、外観変化、サイズ変化といった困難な状況下でも、この手法はどのように性能を発揮するか？
• RQ4 本手法と最先端のSTMモデルとの間の性能差は何か？その要因は何か？
• RQ5 YouTube-VOSのような大規模なベンチマークにおいて、グローバルコンテキストモジュールは未学習のオブジェクトカテゴリに対しても十分に一般化できるか？

主な発見

• 提案手法はDAVIS 2016ベンチマークで最先端の性能を達成し、平均JIoUが88.7%、F-measureが89.5%を記録。オンライン学習手法の中でも最高性能を達成。
• より困難なDAVIS 2017およびYouTube-VOSベンチマークでも、競争力のある結果を達成。YouTube-VOSでは平均JIoUが73.2、F-measureが75.7を記録し、上位の手法の一つにランクイン。
• STMベースラインと比較して約3倍速く、固定サイズの特徴表現のおかげで顕著にメモリ消費量が削減されている。
• STMと本手法との性能差の主な要因は、STMがより柔軟なテストプロトコルを採用しており、本研究では適用されていない後処理のソフト集約モジュールに起因する。
• 可視化結果から、グローバルコンテキストモジュールが動画全体にわたり一貫して前景および背景のパターンを効果的に捉えていることが確認され、隠蔽や外観変化に対してもロバストな処理が可能である。
• YouTube-VOSにおける未学習のオブジェクトカテゴリにおいても、性能低下が最小限に抑えられており、優れた一般化能力を示している。