[論文レビュー] Region Aware Video Object Segmentation with Deep Motion Modeling

Bo Miao, Mohammed Bennamoun+2 more|arXiv (Cornell University)|Jul 21, 2022

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本稿では、軽量なオブジェクトモーショントラッカー（OMT）を用いて効率的なオブジェクトレベルのセグメンテーションのための注目領域（ROI）を予測するとともに、冗長な特徴の保存を低減するためのモーショントラックメモリ（MPM）モジュールを備えた、高速かつ高精度な半教師付きVOS手法であるRegion Aware Video Object Segmentation（RAVOS）を提案する。RAVOSは、DAVISで42 FPSで86.1 J&F、YouTube-VOSで23 FPSで84.4 J&Fを達成し、精度と推論速度の両面で先行手法を大きく上回り、メモリ使用量も1.9倍削減している。

ABSTRACT

Current semi-supervised video object segmentation (VOS) methods usually leverage the entire features of one frame to predict object masks and update memory. This introduces significant redundant computations. To reduce redundancy, we present a Region Aware Video Object Segmentation (RAVOS) approach that predicts regions of interest (ROIs) for efficient object segmentation and memory storage. RAVOS includes a fast object motion tracker to predict their ROIs in the next frame. For efficient segmentation, object features are extracted according to the ROIs, and an object decoder is designed for object-level segmentation. For efficient memory storage, we propose motion path memory to filter out redundant context by memorizing the features within the motion path of objects between two frames. Besides RAVOS, we also propose a large-scale dataset, dubbed OVOS, to benchmark the performance of VOS models under occlusions. Evaluation on DAVIS and YouTube-VOS benchmarks and our new OVOS dataset show that our method achieves state-of-the-art performance with significantly faster inference time, e.g., 86.1 J&F at 42 FPS on DAVIS and 84.4 J&F at 23 FPS on YouTube-VOS.

研究の動機と目的

• オブジェクトセグメンテーションに使用されるメモリベースの手法が、全フレームを処理してセグメンテーションとメモリ保存を行うことによる高い計算リソースの無駄を解消すること。
• 特にオクルージョンのような困難な状況下でも、セグメンテーションの精度を損なわずに推論速度を向上させ、メモリ使用量を削減すること。
• 関連するオブジェクト領域にのみ注目する、領域認識型のトラッキングとセグメンテーションフレームワークの構築。
• オクルージョン条件下でのVOSモデル評価を特に目的とした大規模な新規ベンチマークデータセットOVOSの構築。
• 速度、精度、メモリ効率のバランスを取った、効率的な半教師付きVOSの新しいベースラインの確立。

提案手法

• 軽量なオブジェクトモーショントラッカー（OMT）は、過去のフレームからの位置特徴のみを用いてモーショントラックを予測し、高コストな画像特徴抽出を回避することで、5000 FPSの高速トラッキングを実現する。
• オブジェクトレベルのセグメンテーションは、予測されたROI内でのみ処理を行う専用のオブジェクトデコーダーを用いて実施され、スキップ接続を適用することで予測精度を向上させ、背景領域での誤検出を低減する。
• モーショントラックメモリ（MPM）は、フレーム間のオブジェクトの予測モーショントラック内でのみ特徴を保存するため、関係のない背景領域をフィルタリングし、メモリサイズを1.9倍削減する。
• MPMは、スパatio-temporal特徴伝搬の対象をモーショントラック関連領域に限定することで、特徴マッチング速度を3.8倍向上させる。
• OMTは線形、2次、または3次関数のモーショントラジェクトリを用いてオブジェクトの軌道をモデル化し、2次関数が最も優れた性能を示した。
• OVIDSから作成された、オクルージョンに焦点を当てた大規模な新規データセットOVOSを構築し、現実的なオクルージョンシナリオ下でのVOSモデル評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 領域認識型トラッキング機構は、高い精度を維持しつつ、動画オブジェクトセグメンテーションにおける計算の無駄を削減できるか？
• RQ2 全フレームメモリと比較して、モーショントラックメモリ（MPM）は、メモリ使用量の削減と特徴マッチング速度の向上にどの程度効果的か？
• RQ3 軽量なオブジェクトモーショントラッカー（OMT）は、ROI予測の精度を損なわずに、5000 FPSのような高いフレームレートを達成できるか？
• RQ4 オクルージョンというVOSの主要な課題に対して、提案手法RAVOSは既存手法と比較してどの程度優れた性能を示すか？
• RQ5 予測されたROIに基づくオブジェクトレベルのセグメンテーションは、推論速度の向上と誤検出の低減にどの程度寄与するか？

主な発見

• DAVIS 2017の検証セットにおいて、RAVOSは42 FPSで86.1 J&Fを達成し、精度と推論速度の両面で既存手法を上回った。
• YouTube-VOSでは、23 FPSで84.4 J&Fを達成し、多様で困難な動画条件下でも優れた性能を示した。
• モーショントラックメモリ（MPM）は、全フレームメモリと比較してメモリサイズを1.9倍削減し、特徴マッチング速度を3.8倍向上させた。
• オブジェクトレベルのセグメンテーションにより、特徴マッチング時間は12.2 msから5.9 ms、デコーディング時間は7.5 msから3.9 msに短縮され、大幅な効率向上が達成された。
• OMTトラッカーは1枚のGPUで5000 FPSで動作し、1オブジェクトあたり0.2 msの処理時間であり、RAFT光流と比較して100倍高速でありながらも、競争力のある精度を維持した。
• 新たに導入されたOVOSデータセットにおいて、RAVOSはオクルージョンに対する優れたロバストネスを示し、現実世界の困難なシナリオにおける有効性が検証された。