[論文レビュー] Learning to Segment Moving Objects in Videos

Katerina Fragkiadaki, Pablo Arbeláez+2 more|arXiv (Cornell University)|Dec 19, 2014

Video Surveillance and Tracking Methods参考文献 33被引用数 4

ひとこと要約

本稿では、光流の境界からフレームごとの動きに基づくオブジェクト候補（MOPs）を生成し、二重パスウェイ畳み込みニューラルネットワーク（MOD）を用いて順位付けを行うことで、動的オブジェクト分離を実現する新規手法を提案する。このアプローチにより、軌跡類似度に基づくランダムウォークを用いて上位候補を空間時間的チューブに拡張し、VSB100およびMosegベンチマークで最先端の性能を達成した。静的候補手法に比べて検出率が7%向上した。

ABSTRACT

We segment moving objects in videos by ranking spatio-temporal segment proposals according to "moving objectness": how likely they are to contain a moving object. In each video frame, we compute segment proposals using multiple figure-ground segmentations on per frame motion boundaries. We rank them with a Moving Objectness Detector trained on image and motion fields to detect moving objects and discard over/under segmentations or background parts of the scene. We extend the top ranked segments into spatio-temporal tubes using random walkers on motion affinities of dense point trajectories. Our final tube ranking consistently outperforms previous segmentation methods in the two largest video segmentation benchmarks currently available, for any number of proposals. Further, our per frame moving object proposals increase the detection rate up to 7\% over previous state-of-the-art static proposal methods.

研究の動機と目的

• 動きの手がかりを活用して、より正確で識別性の高いオブジェクト候補を生成することで、動的オブジェクト分離の性能を向上させること。
• 騒音の多いシーンにおける静的境界検出器の限界を補うために、直接的に光流の境界を用いて候補を生成すること。
• 学習可能でクラスに依存しないオブジェクトネス検出器を開発し、静的背景や過小・過小分割の候補を区別すること。
• 動き分離とトラッキングのギャップを埋めるために、密な軌跡を用いたスパコンスタントチューブ形成と候補順位付けを統合すること。
• オブジェクトネススコアを学習してチューブを順位付けすることで、最小限の候補数で高い分離精度を達成すること。

提案手法

• フレームごとの動きに基づくオブジェクト候補（MOPs）は、光流の大きさから導かれる動きの境界に対して、複数の図背景セグメンテーションを適用することで生成される。
• 動きの境界は、光流上に学習された境界検出器を用いて検出され、静的境界と組み合わせる必要がなくなるため、漏れの少ないアーチファクトを低減できる。
• 各候補の「動きによるオブジェクトネススコア」を予測するために、画像および光流フィールドを入力として学習された二重パスウェイ畳み込みニューラルネットワーク（MOD）が使用される。この手法により、誤検出を効果的にフィルタリングできる。
• 上位にランクされたMOPsは、フレーム間の密な点軌跡から計算された動き類似度に基づくランダムウォークを用いて、3次元の空間時間的チューブに拡張される。
• 軌跡クラスタは、スーパーボクセルとのオーバーラップを介してピクセルチューブにマッピングされ、時間的経過にわたる空間的一致性が保証される。
• チューブスコアは、その寿命にわたるオブジェクトネススコアの合計として集約され、より長く安定したチューブが優遇される。

実験結果

リサーチクエスチョン

• RQ1 静的候補手法に比べ、動きに基づくオブジェクト候補は、動的オブジェクトの検出率を向上させることができるか？
• RQ2 学習された動きオブジェクトネス検出器は、過小分割・過小分割・背景の候補を効果的にフィルタリングできるか？
• RQ3 軌跡のランダムウォークを用いた空間時間的チューブ拡張は、分離精度をどの程度向上させられるか？
• RQ4 静的境界と融合しないで、直接的に光流の境界を用いることで、騒音の多いシーンにおける候補の多様性と耐性が向上するか？
• RQ5 クラスに依存しない二重パスウェイCNNは、オブジェクトクラスの事前知識なしに、多様なカテゴリにわたり動的オブジェクトを効果的に検出できるか？

主な発見

• 提案手法のMOPsは、最先端の静的候補手法に比べ、検出率が最大7%向上し、特にVSB100のような騒音の多いシーンで顕著な改善を示した。
• 二重パスウェイCNNベースの動きオブジェクトネス検出器（MOD）は、手動で設計された明著性や他のマルチレイヤーオブジェクトネスベースラインを上回る性能を示した。
• VSB100データセットでは、GOPsとMOPsを組み合わせることで顕著な性能向上が得られ、静的境界検出器が失敗するシーンで特に顕著であった。
• 本手法は、VSB100およびMosegベンチマークの両方で最先端の結果を達成し、すべての候補数において一貫した優位性を示した。
• MODのチューブ寿命にわたるスコア集約により、長期的なトラッキングの安定性が向上し、より長く一貫性のあるチューブが優先された。
• 失敗事例の主な原因は、大規模な動きや隠蔽による時間的断片化であり、今後のリンクヒューリスティクスの導入が求められる。