[論文レビュー] Object Discovery in Videos as Foreground Motion Clustering

Christopher Xie, Xiang Yu+2 more|arXiv (Cornell University)|Dec 6, 2018

Video Surveillance and Tracking Methods参考文献 34被引用数 6

ひとこと要約

この論文は、学習されたピクセル軌跡埋め込みを用いた前景運動のクラスタリングとして、動画内のオブジェクト発見を定式化する新しい手法を提案する。再帰的ニューラルネットワークを用いて時間的経路を符号化し、それらをクラスタリングすることで一貫性のあるオブジェクトセグメンテーションを実現し、後処理としてCRF層を用いないまま、複数の運動セグメンテーションベンチマークで最先端の性能を達成した。

ABSTRACT

We consider the problem of providing dense segmentation masks for object discovery in videos. We formulate the object discovery problem as foreground motion clustering, where the goal is to cluster foreground pixels in videos into different objects. We introduce a novel pixel-trajectory recurrent neural network that learns feature embeddings of foreground pixel trajectories linked across time. By clustering the pixel trajectories using the learned feature embeddings, our method establishes correspondences between foreground object masks across video frames. To demonstrate the effectiveness of our framework for object discovery, we conduct experiments on commonly used datasets for motion segmentation, where we achieve state-of-the-art performance.

研究の動機と目的

• 事前にカテゴリラベルが与えられていない動画内での未知オブジェクトの発見に挑戦すること。
• 外観と運動の統合的特徴を用いて、動く前景オブジェクトと静止背景を区別すること。
• 軌跡のクラスタリングにより、動画フレーム間で一貫したオブジェクト対応を確立すること。
• 運動ベースのオブジェクト発見に耐性のある特徴埋め込みを学習し、ピクセル軌跡のための判別的特徴を獲得すること。
• 二値および多値オブジェクトセグメンテーションの両方において、標準的な運動セグメンテーションデータセットで最先端の性能を達成すること。

提案手法

• RGBフレームと光流を統合する新しいエンコーダ・デコーダネットワークを用い、外観と運動の両方の手がかりを組み合わせたピクセルレベルの特徴埋め込みを学習する。
• 独自の再帰的ニューラルネットワーク（RNN）を用いて、前景マスク内での時間的シーケンスに沿って特徴を集約し、ピクセル軌跡の高次元特徴埋め込みを学習する。
• 前景マスクを注目メカニズムとして用いることで、関連する動く領域に焦点を当て、セグメンテーションの正確性を向上させる。
• ピクセル軌跡埋め込みをクラスタリングアルゴリズム（例：k-means）を用いてクラスタリングし、各軌跡を別個のオブジェクトに割り当てる。これにより、フレーム間で一貫性のあるオブジェクトラベル付けが可能になる。
• 前景セグメンテーションと軌跡埋め込み学習を統合したマルチタスク損失関数を用いて、エンド・トゥ・エンドで訓練する。
• 後処理を最小限に抑える—CRFは使用しない—これにより、学習された表現の頑健性を示している。

実験結果

リサーチクエスチョン

• RQ1 学習された埋め込みでガイドされた、ピクセル軌跡の運動ベースのクラスタリングは、動画内での未知オブジェクトの効果的発見を可能にするか？
• RQ2 深層学習を用いて運動と外観の特徴を統合することで、前景セグメンテーションはどのように向上するか？
• RQ3 再帰ネットワークは、運動ベースのオブジェクト発見のための判別的軌跡レベル表現を効果的に学習できるか？
• RQ4 前景マスクを注目メカニズムとして用いることで、運動セグメンテーションタスクにおけるクラスタリング性能は向上するか？
• RQ5 提案手法は、標準的な運動セグメンテーションベンチマークで、既存の最先端手法をどの程度上回るか？

主な発見

• FBMS、ComplexBackground、CamouflagedAnimalの各データセットで最先端の性能を達成し、2番目に良い手法であるCCGに対して相対的に4.4%のFスコア向上を達成した。
• DAVIS2016の検証セットでは、CRF後処理なしでJaccard測度71.4を達成し、LVO（70.1）や他のSOTA手法を上回った。
• 本手法は、データセット全体で高い再現率を示しており、特に未学習または困難なシーケンスにおいてFスコアの向上に大きく寄与している。
• FT3Dデータセットでは、F測定値でMPNetを相対的に5.6%上回り、合成データに対する優れた一般化性能を示した。
• 定性的な結果から、CCGが失敗するような低または一貫性のない光流を持つオブジェクトについても、予測された前景マスクからの注目メカニズムのおかげで正しくセグメンテーションできている。
• 失敗事例の主な原因は、前景マスクの予測が不正確であること、または複数のオブジェクトが1つのクラスタに統合されるクラスタの崩壊（cluster collapse）である。