[論文レビュー] Putting the Object Back into Video Object Segmentation

Ho Kei Cheng, Seoung Wug Oh+3 more|arXiv (Cornell University)|Oct 19, 2023

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

Cutieは、オブジェクトレベルのメモリリーディングをクエリベースのオブジェクトトランスフォーマーで実装するビデオオブジェクトセグメンテーション（VOS）ネットワークを提案する。このアプローチにより、遮蔽や不要なオブジェクトの影響を受ける難しい状況下でも、より高いロバスト性を実現する。Cutieは、高レベルのオブジェクトクエリと高分解能のピクセル特徴、および前景・背景マスク付きアテンションを組み合わせることで、MOSEデータセットにおいてXMemより8.7 J&F、DeAOTより4.2 J&Fの向上を達成しながら、DeAOTの3倍の速度で動作する。

ABSTRACT

We present Cutie, a video object segmentation (VOS) network with object-level memory reading, which puts the object representation from memory back into the video object segmentation result. Recent works on VOS employ bottom-up pixel-level memory reading which struggles due to matching noise, especially in the presence of distractors, resulting in lower performance in more challenging data. In contrast, Cutie performs top-down object-level memory reading by adapting a small set of object queries. Via those, it interacts with the bottom-up pixel features iteratively with a query-based object transformer (qt, hence Cutie). The object queries act as a high-level summary of the target object, while high-resolution feature maps are retained for accurate segmentation. Together with foreground-background masked attention, Cutie cleanly separates the semantics of the foreground object from the background. On the challenging MOSE dataset, Cutie improves by 8.7 J&F over XMem with a similar running time and improves by 4.2 J&F over DeAOT while being three times faster. Code is available at: https://hkchengrex.github.io/Cutie

研究の動機と目的

• ピクセルレベルのメモリリーディングにおける限界、特に遮蔽や不要なオブジェクトの影響を受ける状況下でのマッチングノイズや一般化性能の低さを是正すること。
• ターゲットオブジェクトを学習可能なクエリとしてモデル化し、それらがピクセルレベルの特徴と相互作用することで、ビデオオブジェクトセグメンテーションにオブジェクトレベルの推論を統合すること。
• コンパクトなオブジェクトメモリとマスク付きアテンションを用いて、長期間にわたるトラッキングのロバスト性と前景・背景の分離性能を向上させること。
• MOSEのような困難なベンチマークで最先端の手法を著しく上回る性能を維持しながら、高い推論効率を保つこと。

提案手法

• Cutieは、上位のガイドラインを提供する少数の学習可能なオブジェクトクエリを用いて、ピクセルレベルのメモリリーディングを段階的に改善するクエリベースのオブジェクトトランスフォーマー（qt）を採用する。
• モデルは二重メモリ機構を採用：低レベル特徴の取得に用いるピクセルメモリと、ターゲット固有の特徴を要約するコンパクトなオブジェクトメモリ。
• 前景・背景マスク付きアテンションを導入し、前景と背景のための別々のアテンションフローを可能にすることで、明確なセマンティック分離と豊富な特徴相互作用を実現する。
• オブジェクトクエリはピクセルレベルのリーディング出力とのクロスアテンションにより更新され、高レベルのオブジェクト概念と低レベルの空間的詳細との双方向的通信を可能にする。
• デコーダはチャネル数を削減したアーキテクチャ（128チャネル）を採用し、スキップ接続とアップサンプリングブロックを組み合わせることで、高分解能のセグメンテーションマスクを効率的に再構築する。
• ネットワークは、XMem や DeAOT と同様に、不確実領域に焦点を当てた交差エントロピー損失を用いてエンドツーエンドで訓練されるが、オブジェクトクエリの最適化プロセスにより強化されている。

Figure 1 : Comparison of pixel-level memory reading v.s. object-level memory reading. In each box, the left is the reference frame, and the right is the query frame to be segmented. Red arrows indicate wrong matches. Low-level pixel matching (e.g., XMem [ 9 ] ) can be noisy in the presence of distra

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルの推論は、遮蔽や不要なオブジェクトが多数存在する状況下でも、ビデオオブジェクトセグメンテーションのロバスト性を向上させることができるか？
• RQ2 従来のピクセルレベルのマッチングと比較して、オブジェクトレベルのメモリリーディングは、セグメンテーション精度とノイズ耐性の面で優れているか？
• RQ3 コンパクトなオブジェクトメモリは、推論速度に悪影響を与えることなく、長期的なターゲット表現を効果的に維持できるか？
• RQ4 前景・背景マスク付きアテンションは、複雑なシーンにおけるセマンティック分離を向上させ、背景の誤認識を低減できるか？

主な発見

• Cutieは、困難なMOSEデータセットにおいてXMemより+8.7 J&Fの向上を達成し、不要なオブジェクトや遮蔽に対するロバスト性の向上が顕著に示された。
• CutieはMOSEにおいてDeAOTより4.2 J&Fの向上を達成しながら、3倍の速度で動作し、効率と精度のトレードオフにおいて優れた性能を示した。
• DAVIS-2017 や YouTubeVOS といった標準ベンチマークでも競争力ある性能を維持しており、異なるデータセットへの一般化能力を確認した。
• オブジェクトクエリとマスク付きアテンションの導入により、前景と背景の分離が明確になり、ごみだらけのシーンでも誤検出が減少した。
• デコーダのチャネル数を256から128に削減しても性能に劣化が見られず、オブジェクトトランスフォーマーによる特徴品質の向上が、容量の低下を補っていることを確認した。
• コンパクトなオブジェクトメモリにより、再トレーニングなしで安定した長期間のトラッキングが可能であり、複数のオブジェクトに対して追加コストなしに再利用可能である。

Figure 2 : Overview of Cutie. We store pixel memory $F$ and object memory $S$ representations from past segmented (memory) frames. Pixel memory is retrieved for the query frame as pixel readout $R_{0}$ , which bidirectionally interacts with object queries $X$ and object memory $S$ in the object tran