[論文レビュー] RVOS: End-to-End Recurrent Network for Video Object Segmentation

Carles Ventura, Míriam Bellver+4 more|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|Mar 13, 2019

Visual Attention and Saliency Detection参考文献 36被引用数 37

ひとこと要約

RVOSは、空間領域および時間領域の両方で動作する多物体ビデオオブジェクトセグメンテーションのエンドツーエンド再帰アーキテクチャを提示し、後処理なしでゼロショットおよびワンショットVOSを実現し、推論を高速化します。

ABSTRACT

Multiple object video object segmentation is a challenging task, specially for the zero-shot case, when no object mask is given at the initial frame and the model has to find the objects to be segmented along the sequence. In our work, we propose a Recurrent network for multiple object Video Object Segmentation (RVOS) that is fully end-to-end trainable. Our model incorporates recurrence on two different domains: (i) the spatial, which allows to discover the different object instances within a frame, and (ii) the temporal, which allows to keep the coherence of the segmented objects along time. We train RVOS for zero-shot video object segmentation and are the first ones to report quantitative results for DAVIS-2017 and YouTube-VOS benchmarks. Further, we adapt RVOS for one-shot video object segmentation by using the masks obtained in previous time steps as inputs to be processed by the recurrent module. Our model reaches comparable results to state-of-the-art techniques in YouTube-VOS benchmark and outperforms all previous video object segmentation methods not using online learning in the DAVIS-2017 benchmark. Moreover, our model achieves faster inference runtimes than previous methods, reaching 44ms/frame on a P100 GPU.

研究の動機と目的

• ポストプロセスなしでゼロショットおよびワンショットのビデオオブジェクトセグメンテーションの課題に取り組む。
• 空間的および時間的ドメインの両方を扱う完全なエンドツーエンド再帰アーキテクチャを提案する。
• 単一フレーム内でのオブジェクトの継続的な順序付けを維持しつつ、ゼロショットとワンショットVOS間のシームレスな適応を実現する。
• オンラインファインチューニングなしでDAVIS-2017およびYouTube-VOSベンチマークで競争的な精度を達成する。
• 従来手法よりも推論速度を示す。

提案手法

• フレームごとにマルチ解像度特徴を抽出するResNet-101バックボーンを用いたエンコーダ-デコーダを使用。
• フレーム内の複数オブジェクトマスクを予測し、時間を通じて一貫したオブジェクト順序を維持するための空間再帰を導入。
• ConvLSTMブロックを介して各オブジェクトのフレーム間でマスクの一貫性を維持する時間再帰を組み込む。
• ConvLSTMの入力をエンコーダ特徴量、前回のマスク、空間/時間の隠れ状態で構成する（式3のように）。
• 最初のフレームで予測マスクを地真実オブジェクトと整列させるための割り当て機構（ソフトIoUコストを用いたハンガリアン法）を共有。
• 初期マスクに依存せずゼロショットVOSをサポートし、デコード時に前フレームのマスクを入力チャネルとして供給することでワンショットVOSをサポートする。

実験結果

リサーチクエスチョン

• RQ1 完全にエンドツーエンドで訓練可能なモデルが、ポストプロセスなしでゼロショットとワンショットの両方のシナリオでビデオ内の複数オブジェクトをセグメントできるか。
• RQ2 空間的再帰と時間的再帰を共同でモデリングすることは、空間的再帰または時間的再帰のみを用いる場合よりVOS性能を向上させるか。
• RQ3 オンライン学習なしの状態で、 DAVIS-2017, YouTube-VOS の標準ベンチマークでRVOSはゼロショットおよびワンショット設定でどの程度の性能を示すか。
• RQ4 完全なエンドツーエンドVOSモデルの実行時特性は、オンライン学習法とどのように異なるか。
• RQ5 フレーム間でのオブジェクト数の変化やオブジェクトの消失をモデルはどう扱うのか。

主な発見

モデル	J_seen	J_unseen	F_seen	F_unseen
RVOS-Mask-S	54.7	37.3	57.4	42.4
RVOS-Mask-T	59.9	39.2	63.1	45.6
RVOS-Mask-ST	60.8	44.6	63.7	50.3
RVOS-Mask-ST+	63.1	44.5	67.1	50.4

• RVOSはYouTube-VOSで競争的な結果を達成し、DAVIS-2017のワンショットVOSではオンライン学習なしの手法よりも上回る。
• 時空再帰構成（RVOS-ST）は、ワンショットおよびゼロショット設定のいずれにおいても、空間のみ（RVOS-S）および時間のみ（RVOS-T）の構成より一貫して優れている。
• 推定マスクを用いた訓練（RVOS-ST+）は頑健性を提供し、あるケースでは地真実のみの訓練より性能を向上させる。
• P100 GPU上で約44 ms/フレームの速度で動作し、いくつかの同等のオンライン学習手法より高速。
• RVOSは単一のフォワードパスで複数のオブジェクトを処理し、後処理を回避し、フレーム間のオブジェクトインデックスの一貫性を維持する。