[論文レビュー] Learning a Spatio-Temporal Embedding for Video Instance Segmentation

Anthony Hu, Alex Kendall+1 more|arXiv (Cornell University)|Dec 19, 2019

Video Surveillance and Tracking Methods参考文献 29被引用数 18

ひとこと要約

本稿では、時間的に因果的でリアルタイムな空間時系列埋め込みネットワークを提案し、物体の外観、動き、単眼深度を統合的に活用することで、時間経過にわたって同じ物体のピクセルをクラスタリングする。3次元因果的畳み込みネットワークと自己教師付き深度推定を用いることで、KITTI MOTSデータセットにおいて最先端の性能を達成し、後処理を要せず、遮蔽や検出漏れに対しても頑健なトラッキングを実現する。

ABSTRACT

We present a novel embedding approach for video instance segmentation. Our method learns a spatio-temporal embedding integrating cues from appearance, motion, and geometry; a 3D causal convolutional network models motion, and a monocular self-supervised depth loss models geometry. In this embedding space, video-pixels of the same instance are clustered together while being separated from other instances, to naturally track instances over time without any complex post-processing. Our network runs in real-time as our architecture is entirely causal - we do not incorporate information from future frames, contrary to previous methods. We show that our model can accurately track and segment instances, even with occlusions and missed detections, advancing the state-of-the-art on the KITTI Multi-Object and Tracking Dataset.

研究の動機と目的

• 将来のフレーム情報を使用しないで、時間的整合性を維持するリアルタイムな動画インスタンスセグメンテーション手法を開発すること。
• 空間時系列埋め込みを活用することで、遮蔽や検出漏れの状況下でもインスタンストラッキングの頑健性を向上させること。
• 単眼深度推定を自己教師付きの監視信号として統合し、埋め込みの曖昧性解消を向上させること。
• エンド・トゥ・エンド学習によりクラスタリングに適した埋め込み空間を直接学習することで、複雑な後処理を排除すること。
• 完全に因果的なアーキテクチャを用いて、KITTI Multi-Object and Tracking Dataset (MOTS) における最先端の性能を向上させること。

提案手法

• 3次元因果的畳み込みニューラルネットワークが過去のフレームを処理し、埋め込み空間に空間時系列的動きの特徴を符号化する。
• 連続するフレームから深度を予測するための自己教師付き単眼深度損失を用い、埋め込み内の幾何的整合性を向上させる。
• 空間時系列埋め込み損失は、同じインスタンスに属するピクセルが密にクラスタリングされるよう促進し、他のインスタンスとは分離させる。
• 蓄積された過去の埋め込みに対して平均シフトクラスタリングを適用し、インスタンスの対応関係を確立する。吸引半径と反発半径を用いて、時間経過にわたるインスタンスの一致を実現する。
• インスタンスレベルの埋め込み整合性と深度予測を統合したジョイント損失を用いて、エンド・トゥ・エンドでモデルを訓練する。
• すべてのモジュールが因果的であるように設計されており、過去および現在のフレームのみを用いるため、リアルタイム推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 因果的な3次元畳み込みネットワークは、動画インスタンスセグメンテーションのための動きと時間的文脈を効果的にモデル化できるか？
• RQ2 自己教師付き単眼深度を組み込むことで、空間時系列埋め込みの質と頑健性が向上するか？
• RQ3 提案された埋め込み損失により、後処理を要せず、遮蔽や検出漏れに対しても一貫したインスタンストラッキングが可能になるか？
• RQ4 シーケンス長が学習された空間時系列埋め込みの安定性と性能に与える影響は何か？
• RQ5 幾何情報の統合が、見た目が似ているか重なっている物体間の曖昧性解消にどの程度寄与するか？

主な発見

• 本モデルはKITTI MOTSデータセットでMOTSAスコア0.714、sMOTSAスコア0.644を達成し、最先端の性能を実現した。
• 正例クラスタリングと背景セグメンテーションを組み込むことで、sMOTSAは0.461から0.644に向上し、正確なクラスタリングの有効性を示した。
• 訓練における最適なシーケンス長は5フレームであり、それ以上の長さでは、矛盾する長距離埋め込み制約の影響で性能が低下した。
• 10フレームを超えるシーケンスでは性能が著しく低下（sMOTSA: 0.273）、長期的な動的要因のモデル化に限界があることが示された。
• 深度の統合により埋め込み構造が向上し、完全および部分的遮蔽時における正しくトラッキングできることが、定性的な結果から明らかになった。
• 埋め込み空間に保持された時間的文脈のおかげで、図3(c)の緑色の車のような完全な遮蔽後でも、インスタンスを正常にトラッキングできた。