[論文レビュー] Memory Aggregation Networks for Efficient Interactive Video Object Segmentation

Jiaxu Miao, Yunchao Wei+1 more|arXiv (Cornell University)|Mar 30, 2020

Visual Attention and Saliency Detection参考文献 30被引用数 10

ひとこと要約

本論文は、ユーザーのインタラクションと時間的伝搬を統合した単一のネットワークで共有特徴抽出を実行する、包括的で効率的なフレームワークであるメモリ集約ネットワーク（MA-Net）を提案する。以前のインタラクションラウンドからの情報を保持するメモリ集約メカニズムを採用することで、追加の後処理やオプティカルフローを用いずにDAVIS 2018検証セットで76.1%のJ@60スコアを達成し、最先端の性能を実現。これにより、従来手法より2.7%以上優れている。

ABSTRACT

Interactive video object segmentation (iVOS) aims at efficiently harvesting high-quality segmentation masks of the target object in a video with user interactions. Most previous state-of-the-arts tackle the iVOS with two independent networks for conducting user interaction and temporal propagation, respectively, leading to inefficiencies during the inference stage. In this work, we propose a unified framework, named Memory Aggregation Networks (MA-Net), to address the challenging iVOS in a more efficient way. Our MA-Net integrates the interaction and the propagation operations into a single network, which significantly promotes the efficiency of iVOS in the scheme of multi-round interactions. More importantly, we propose a simple yet effective memory aggregation mechanism to record the informative knowledge from the previous interaction rounds, improving the robustness in discovering challenging objects of interest greatly. We conduct extensive experiments on the validation set of DAVIS Challenge 2018 benchmark. In particular, our MA-Net achieves the J@60 score of 76.1% without any bells and whistles, outperforming the state-of-the-arts with more than 2.7%.

研究の動機と目的

• インタラクティブ動画オブジェクトセグメンテーションにおいて、ユーザーのインタラクションと時間的伝搬を別々に処理する2ネットワークパイプラインの非効率性を解消すること。
• インタラクションラウンドごとに抽出されたピクセル埋め込みを再利用することで、ラウンドベースのインタラクティブセグメンテーションにおける推論時間を短縮すること。
• 複数の以前のインタラクションラウンドからの情報を集約することで、外見の変化に強い堅牢性と高い精度を実現すること。
• オプティカルフローまたは後処理に依存しないように、複数ラウンドのユーザーフィードバックを捉えるメモリ機構を設計すること。

提案手法

• MA-Netは、ピクセル埋め込み抽出のための共有バックボーンを備えた単一のネットワークにインタラクションと伝搬を統合し、最初のラウンド以降の効率的な推論を可能にする。
• 2つの浅い畳み込みヘッドを用いる：1つはアノテート済み（インタラクティブ）フレームでのマスク予測用、もう1つは他のすべてのフレームへのマスク伝搬用。
• グローバルメモリは各ラウンドからの拡張済みインタラクションマップを保存し、長期的なユーザーフィードバックを保持する。
• ローカルメモリは、直近Rラウンド内の空間的に整合された特徴マップを集約し、外見の変化に強い耐性を向上させる。
• ローカルメモリはサイズkのスライディングウインドウを用いてマッチングマップを計算し、精度と効率の両面で最適なk=12が選択された。
• メモリ集約メカニズムは、グローバルおよびローカルマップを組み合わせることで、遮蔽やクラスの曖昧性といった複雑なシナリオでのセグメンテーション精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離されたインタラクションと伝搬ネットワークと比較して、統合されたネットワークアーキテクチャは、ラウンドベースのインタラクティブ動画オブジェクトセグメンテーションにおける推論効率を向上させ得るか？
• RQ2 複数ラウンドのユーザーインタラクションフィードバックを効果的に集約することで、時間経過に伴いセグメンテーション精度を向上させられるか？
• RQ3 メモリ機構において、最近のラウンドと遠いラウンドの両方を最適に扱う際の、性能とバランスの最適なトレードオフは何か？
• RQ4 軽量なメモリ機構は、オプティカルフローまたはCRF後処理に依存せず、最先端の手法を上回る性能を発揮できるか？
• RQ5 ローカルウインドウサイズとメモリ保持ウインドウ（R）は、メモリ集約メカニズムの性能にどのように影響を与えるか？

主な発見

• MA-Netは、追加の装飾なしにDAVIS 2018検証セットで76.1%のJ@60スコアを達成し、最先端手法を2.7%以上上回った。
• モデルは60秒以内に7ラウンドのインタラクションを完了し、同時間内に5ラウンドしか達成できなかった従来のSOTA手法を上回った。
• アブレーションスタディの結果、グローバルおよびローカルメモリの両方が性能向上に顕著な寄与を示し、ローカルメモリではR=2の際にピーク精度が達成された。
• グローバルメモリから拡張マップを削除すると、AUCスコアは0.749から0.744に低下し、その重要性が示された。
• 最適なローカルウインドウサイズはk=12であり、精度と計算効率の両立が図られた。これより大きいまたは小さい値は性能を劣化させた。
• 定性的な結果から、MA-Netは遮蔽や同クラスの複数オブジェクトを含む複雑なシーンに対しても効果的に対処できることが確認されたが、類似した部分同士でわずかな誤認識が生じる場合がある。