[論文レビュー] Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation

Xiaoqi Zhao, Youwei Pang+3 more|arXiv (Cornell University)|Aug 11, 2021

Visual Attention and Saliency Detection参考文献 57被引用数 4

ひとこと要約

本稿では、ゼロショット動画オブジェクトセグメンテーションのためのマルチソース統合と自動予測子選択フレームワークを提案する。RGB、深度、オプティカルフロー、静的サリエンシー特徴を、インターリエプティブ空間注意モジュール（ISAM）と特徴浄化モジュール（FPM）を用いて統合し、特徴統合を向上させる。自動予測子選択（APS）ネットワークにより、低品質なオプティカルフローによる誤りを軽減するため、静的サリエンシー予測と動きオブジェクト予測の間で動的に切り替える。DAVIS 16、Youtube-Objects、FBMSベンチマークで最先端の性能を達成する。

ABSTRACT

Location and appearance are the key cues for video object segmentation. Many sources such as RGB, depth, optical flow and static saliency can provide useful information about the objects. However, existing approaches only utilize the RGB or RGB and optical flow. In this paper, we propose a novel multi-source fusion network for zero-shot video object segmentation. With the help of interoceptive spatial attention module (ISAM), spatial importance of each source is highlighted. Furthermore, we design a feature purification module (FPM) to filter the inter-source incompatible features. By the ISAM and FPM, the multi-source features are effectively fused. In addition, we put forward an automatic predictor selection network (APS) to select the better prediction of either the static saliency predictor or the moving object predictor in order to prevent over-reliance on the failed results caused by low-quality optical flow maps. Extensive experiments on three challenging public benchmarks (i.e. DAVIS$_{16}$, Youtube-Objects and FBMS) show that the proposed model achieves compelling performance against the state-of-the-arts. The source code will be publicly available at extcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/Multi-Source-APS-ZVOS}}.

研究の動機と目的

• 既存のゼロショット動画オブジェクトセグメンテーション（ZVOS）手法がRGBまたはRGBとオプティカルフローに依存するという制限を克服するため、複数の補完的特徴源を統合すること。
• インターリエプティブ空間注意モジュール（ISAM）を用いて、各特徴マップの空間的文脈に基づき、空間的重要性を適応的に強調することで、特徴統合を向上させること。
• 特徴浄化モジュール（FPM）を用いて、互いに不適合な特徴をフィルタリングすることで、ソース間干渉を低減すること。
• 低品質なオプティカルフローによる性能低下を軽減するため、予測子選択ネットワーク（APS）を用いて、静的サリエンシー予測子と動きオブジェクト予測子の間で自動的に切り替えること。
• マルチソース特徴と知能的な予測子選択を統合することで、標準ZVOSベンチマークで最先端の性能を達成すること。

提案手法

• RGB入力から深度マップと静的サリエンシー特徴マップを予測するため、共有エンコーダーと2つのデコーダーを備えたマルチタスクネットワークを用い、FPNアーキテクチャを採用する。
• インターリエプティブ空間注意モジュール（ISAM）は、空間的文脈に基づき、各ソース特徴マップに対して適応的に注意重みを計算し、より情報量の多い特徴を強調する。
• 特徴浄化モジュール（FPM）は、統合された特徴マップを共通成分と排他的成分に分解し、排他的部分を差し引くことで、背景ノイズを抑制し、動きオブジェクトの手がかりを保持する。
• 自動予測子選択（APS）ネットワークは、オプティカルフローに基づく予測の信頼性を評価し、信頼性スコアに応じて静的サリエンシー予測子と動きオブジェクト予測子の間で切り替える。
• 最終的な予測は、選択された予測子によって生成され、低品質なオプティカルフローに対しても耐性を示す。
• このフレームワークは、DAVIS 16、Youtube-Objects、FBMSでエンドツーエンドに訓練され、深度、サリエンシー、セグメンテーションの監視損失関数が用いられる。

実験結果

リサーチクエスチョン

• RQ1 RGB、深度、オプティカルフロー、静的サリエンシーといった複数の視覚的ソースを、ゼロショット動画オブジェクトセグメンテーションを向上させるために効果的に統合する方法は何か？
• RQ2 ソース間の空間的関係を考慮するアテンション機構は、マルチソース統合における特徴表現を向上させることができるか？
• RQ3 異なるソース間で不適合またはノイズの多い特徴をどのようにフィルタリングすることで、セグメンテーション精度を向上させられるか？
• RQ4 自動予測子選択メカニズムにより、信頼性が低いオプティカルフローに依存するのを減らし、耐性を高められるか？
• RQ5 マルチソース特徴と知的な予測子選択の統合により、標準ZVOSベンチマークで最先端の性能が達成されるか？

主な発見

• 提案手法は、DAVIS 16ベンチマークでmIoU 83.4、平均Fスコア82.3を達成し、従来の最先端手法を上回る性能を示した。
• Youtube-Objectsデータセットでは、mIoU 74.9、平均Fスコア83.3を達成し、低品質なオプティカルフロー下でも優れた一般化性能を示した。
• ISAMモジュールは、マルチソース特徴の単純な連結に比べ、mIoUを2.1%、平均Fスコアを1.6%向上させた。
• FPMはさらにmIoUを1.1%、平均Fスコアを1.1%向上させ、不適合な特徴のフィルタリング効果を確認した。
• APSネットワークは、オプティカルフロー品質に応じてSOSまたはMOSの良い方の予測子を選択することで、Youtube-Objectsで優れた性能を発揮した。SOS単体（72.7 mIoU）やMOS単体（70.2 mIoU）を上回った。
• 可視化結果から、APSは低品質なオプティカルフローを有する動画に対して低スコアを、高品質なフローを有する動画に対して高スコアを割り当てており、適応的選択メカニズムの有効性が裏付けられた。