[論文レビュー] Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion

Subhabrata Choudhury, Laurynas Karazija+3 more|arXiv (Cornell University)|May 16, 2022

Advanced Vision and Imaging被引用数 9

ひとこと要約

本論文では、単一の画像を入力として用い、動きのパターンを予測するネットワークを訓練することで、動画および画像のセグメンテーションのための新規な教師なし手法を提案する。単一の画像から、単純な動き（例：アフィンまたは2次的なフロー）を含む領域を予測するプロキシタスクによってセグメンテーションを監視することで、物体が静止している場合でも物体を検出できるようになり、動画セグメンテーションベンチマークで最先端の性能を達成するとともに、訓練中に見られなかった新しい物体に対しても強力な汎化性能を示す。

ABSTRACT

Motion, measured via optical flow, provides a powerful cue to discover and learn objects in images and videos. However, compared to using appearance, it has some blind spots, such as the fact that objects become invisible if they do not move. In this work, we propose an approach that combines the strengths of motion-based and appearance-based segmentation. We propose to supervise an image segmentation network with the pretext task of predicting regions that are likely to contain simple motion patterns, and thus likely to correspond to objects. As the model only uses a single image as input, we can apply it in two settings: unsupervised video segmentation, and unsupervised image segmentation. We achieve state-of-the-art results for videos, and demonstrate the viability of our approach on still images containing novel objects. Additionally we experiment with different motion models and optical flow backbones and find the method to be robust to these change. Project page and code available at https://www.robots.ox.ac.uk/~vgg/research/gwm.

研究の動機と目的

• 静止物体が欠落する動きベースのセグメンテーションの限界を、動きの手がかりと外見学習を組み合わせることで解決する。
• 教師ありオブジェクトアノテーションを必要とせず、動きを監視信号として用いる自己教師付きフレームワークを構築する。
• 訓練中に見られなかった新しいオブジェクトを含む静止画像に対して、ゼロショットでの汎化を可能にする。
• 動きモデルやオプティカルフローのバックボーンにおける変動に強い手法を設計する。
• 教師なし動画オブジェクトセグメンテーションベンチマークで最先端の性能を達成するとともに、画像セグメンテーションに対しても実用的であることを実現する。

提案手法

• 単一の画像から、単純な動きパターン（例：アフィンまたは2次的なフロー）を含む領域を予測するプロキシタスクを用いて、セグメンテーションネットワークを訓練する。
• 推論時に直接動きを観測しないにもかかわらず、1枚の入力フレームからのオプティカルフローをネットワークの監視に用いる。
• パラメトリックな動きモデルの下で、予測された領域と観測された動きパターンの間の適合性を損失関数として定式化する。
• 単一画像設定における曖昧さを減らすために、直接的な動き予測を避けて、動きパターンの空間的サポートのみに注目する。
• 同じネットワークを2つのモードで適用する：(1) 教師なし動画セグメンテーションのための内部学習、(2) 教師なし画像セグメンテーションのための伝達学習。
• 予測後、境界の正確性を向上させるためにCRFの微調整を統合する。特に複雑なシーンで有効である。

実験結果

リサーチクエスチョン

• RQ1 単一の画像における動きのパターンを、アノテーションを一切用いずにオブジェクトに意識的な表現を学習するための監視信号として利用できるか？
• RQ2 動きの手がかりに基づいて学習したモデルは、動きが存在しない静止画像において、訓練時に見られなかったオブジェクトをセグメンテーションできるか？
• RQ3 アフィンと2次的な動きモデルの違いや、オプティカルフローのバックボーンアーキテクチャの変化に対して、本手法はどれほど頑健か？
• RQ4 動きのパターンを予測することで、教師なし動画オブジェクトセグメンテーションで最先端の性能を達成できるか？
• RQ5 複雑なシーンと多様なオブジェクトカテゴリを含む静止画像において、本モデルは高品質なセグメンテーションを達成できるか？

主な発見

• DAVIS16ベンチマークでは最先端の性能を達成し、平均IoUが80.7%（M）で再現率95.7%（R）を記録。従来の教師なし手法を上回った。
• FBMS59データセットでは、CRFの微調整を施した場合、平均IoUが80.7%を達成し、多様な画像シーケンスへの強い汎化性能を示した。
• CUBデータセットでは、DAVIS、FBMS、STv2の多様なデータセットで訓練したにもかかわらず、さまざまなポーズと背景を持つ鳥を効果的にセグメンテーションした。
• 本手法は静止画像に対しても効果的に汎化でき、DUT-OMRON、DUTS、ECSSDデータセットにおいて、複数の前景オブジェクトを含む複雑なシーンでも高品質なセグメンテーションを達成した。
• アブレーションスタディの結果、動きモデルやオプティカルフローのバックボーンの変更に対しても本手法は頑健であり、さまざまな構成でも一貫した性能を示した。
• 失敗事例は、複数の顕著なオブジェクトが存在するが、1つだけがアノテーションされている場合に主に発生しており、評価におけるアノテーションの曖昧さに感受性があることが示された。