[論文レビュー] Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation

Ho Kei Cheng, Yu‐Wing Tai+1 more|arXiv (Cornell University)|Jun 9, 2021

Video Surveillance and Tracking Methods参考文献 80被引用数 132

ひとこと要約

この論文は STCN を提案する。STCN はメモリ効率の高い時空間対応ネットワークで、ドット積の代わりに負の二乗ユークリッド距離（L2）を用いた画像間類似度を採用し、多様なメモリ投票を可能にし、最先端で高速な半教師付きビデオオブジェクトセグメンテーションを実現する。

ABSTRACT

This paper presents a simple yet effective approach to modeling space-time correspondences in the context of video object segmentation. Unlike most existing approaches, we establish correspondences directly between frames without re-encoding the mask features for every object, leading to a highly efficient and robust framework. With the correspondences, every node in the current query frame is inferred by aggregating features from the past in an associative fashion. We cast the aggregation process as a voting problem and find that the existing inner-product affinity leads to poor use of memory with a small (fixed) subset of memory nodes dominating the votes, regardless of the query. In light of this phenomenon, we propose using the negative squared Euclidean distance instead to compute the affinities. We validated that every memory node now has a chance to contribute, and experimentally showed that such diversified voting is beneficial to both memory efficiency and inference accuracy. The synergy of correspondence networks and diversified voting works exceedingly well, achieves new state-of-the-art results on both DAVIS and YouTubeVOS datasets while running significantly faster at 20+ FPS for multiple objects without bells and whistles.

研究の動機と目的

• 半教師付きVOSのための時空間マッチングにおいて、より単純でメモリ効率の高いアプローチを動機づける。
• STM の各オブジェクトのメモリ読み出しを、オブジェクトをまたいで再利用されるフレーム間の親和性に置換する。
• 多様性とメモリノードの利用を改善するため、親和性関数とメモリカバレージを調査する。
• L2 に基づく親和性が多様な投票を生み、精度と速度の向上をもたらすことを示す。

提案手法

• Key Encoder（画像入力）と Value Encoder（画像とマスク入力）を備えた Space-Time Correspondence Network（STCN）を構築する。
• RGB 関係から学習された単一のマスク非依存のキー親和性行列を用いてフレーム間の親和性を計算する。
• 類似度の測度としてドット積の代わりに負の二乗ユークリッド距離（L2）を用いてメモリ寄与の多様化を図る。
• 親和性行列との行列乗算によってメモリ読み出しを集約し、セグメンテーションマスクをデコードするためのクエリ特徴を生成する。
• メモリキーは照会済みフレームから再利用し、メモリ値はマスク生成後にオブジェクトごとに生成するメモリ管理を採用する。
• 軽量デコーダとスキップ接続を維持し、高解像度マスクを生成してマルチオブジェクトのソフトアグリゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 物体固有のメモリバンクを用いずに、VOS 用の効率的なフレーム間親和性をどのように構築するか？
• RQ2 ドット積を L2 相似度に置換することで、メモリカバレージとセグメンテーション性能は改善されるか？
• RQ3 より単純な STCN フレームワークで、推論速度を高く維持しつつ最先端の結果を達成できるか？
• RQ4 STCN におけるメモリ管理戦略が速度と精度に与える影響は？

主な発見

手法	G (YouTubeVOS)	J_S	F_S	J_U	F_U	J&F	J	F	FPS
Ours	83.0	81.9	86.5	77.9	85.7	85.4	82.2	88.6	20.2
Ours + BL30K	84.3	83.2	87.9	79.0	87.3	85.3	82.0	88.6	20.2

• STCN は DAVIS 2017 および YouTubeVOS で最先端と同等あるいはそれを上回り、複数オブジェクトで 20+ FPS を実現。
• L2 相似度を用いるとメモリ寄与が多様化し、メモリ使用の不平等を減らし、頑健性が向上する。
• 共有エンコーダを用いたフレーム間親和性は、STM のメモリエンコーダより値エンコーダの呼び出し回数が少なくなるため、推論を高速化する。
• 最後のフレームの一時メモリを削除し、フレーム全体の親和性に依存することで、さまざまな設定で STM の約 12 FPS から STCN の 16–20 FPS 超へ速度が向上する。
• STCN にオプションの BL30K 事前学習を加えると、ベースラインと比較して YouTubeVOS および DAVIS のスコアがさらに向上する。