[論文レビュー] Video Object Segmentation with Adaptive Feature Bank and Uncertain-Region Refinement

Yongqing Liang, Xin Li+2 more|arXiv (Cornell University)|Oct 15, 2020

Visual Attention and Saliency Detection参考文献 33被引用数 78

ひとこと要約

適応型特徴バンクと不確実領域リファインメントを提案し、半教師付き動画オブジェクトセグメンテーションを向上させ、オンライン微調整なしでDAVIS16/17およびYouTube-VOSベンチマークで最先端の結果を達成。

ABSTRACT

We propose a new matching-based framework for semi-supervised video object segmentation (VOS). Recently, state-of-the-art VOS performance has been achieved by matching-based algorithms, in which feature banks are created to store features for region matching and classification. However, how to effectively organize information in the continuously growing feature bank remains under-explored, and this leads to inefficient design of the bank. We introduce an adaptive feature bank update scheme to dynamically absorb new features and discard obsolete features. We also design a new confidence loss and a fine-grained segmentation module to enhance the segmentation accuracy in uncertain regions. On public benchmarks, our algorithm outperforms existing state-of-the-arts.

研究の動機と目的

• 長編動画におけるマッチングベースのVOSのメモリ管理の改善を動機づける。
• 新しい特徴を吸収し、不要になった特徴を破棄する適応型特徴バンクを開発する。
• 境界の曖昧さをより適切に扱う不確実領域リファインメントモジュールを導入する。
• セグメンテーションの曖昧さを低減するため、クロスエントロピー損失と信頼度ベースの損失を組み合わせたフレームワークを訓練する。
• 長編動画と複数のベンチマークで頑健性と効率を示す。

提案手法

• クエリエンコーダと各オブジェクトの特徴バンクを用いたマッチングベースのセグメンテーションパイプラインを使用する。
• 各オブジェクトに対して類似特徴を統合し、異なる特徴を追加する適応型特徴バンクを維持する（式3–5）。
• 予算内にメモリを維持するため、LFUベースのポリシーで古くなった特徴を破棄する（式6）。
• 画素単位の不確実性マップと信頼度損失を計算する不確実領域リファインメント（URR）を導入する（式7–9）。
• 隣接参照を用いた局所リファインメント機構を適用し、曖昧な境界を精緻化する（式10–12）。
• オンライン微調整なしで、分類損失と信頼度損失の組み合わせで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マッチングベースのVOSにおける長編動画のオブジェクトメモリを適応特徴バンクで効率的に管理するにはどうすればよいか？
• RQ2 信頼度主導の不確実領域リファインメントを組み込むと、境界の精度や全体のセグメンテーション品質は向上するか？
• RQ3 提案手法はオンライン微調整なしで標準的なVOSベンチマークの最先端を超えられるか？

主な発見

手法	OL	J_M	J_R	J_D	F_M	F_R	J_D	J&F_M
RANet		63.2	73.7	18.6	68.2	78.8	19.7	65.7
AGSS		63.4	-	-	69.8	-	-	66.6
RGMP		64.8	74.1	18.9	68.6	77.7	19.6	66.7
OSVOS S	Yes	64.7	74.2	15.1	71.3	80.7	18.5	68.0
CINM	Yes	67.2	74.5	24.6	74.0	81.6	26.2	70.6
A-GAME (+YV)		68.5	78.4	14.0	73.6	83.4	15.8	71.0
FEELVOS (+YV)		69.1	79.1	17.5	74.0	83.8	20.1	71.5
STM		69.2	-	-	74.0	-	-	71.6
Ours		73.0	85.3	13.8	76.1	87.0	15.5	74.6

• オンライン微調整なしでDAVIS17とYouTube-VOSベンチマークの最先端手法を上回る。
• 動的な特徴バンキングとLFUベースの剪定による長編動画で高い性能を示す。
• URRは信頼度損失と局所リファインメントを通じて境界と不確実領域のセグメンテーションを改善する。
• AFBはメモリ効率を提供し、競争力のある実行時間で長編動画の処理を可能にする。
• アブレーションにより、全フレームワーク（AFB+URR）がバリアントと比較して最良のJ&Fスコアを示す。
• DAVIS17ではオンライン微調整なしでJ&F 74.6、1080Tiで4.0 fpsを達成。