[論文レビュー] ViP-DeepLab: Learning Visual Perception with Depth-aware Video Panoptic Segmentation

Siyuan Qiao, Yukun Zhu+3 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Vision and Imaging参考文献 95被引用数 7

ひとこと要約

ViP-DeepLabは、視覚における逆投影問題に対処するため、単眼深度推定と動画パノプティックセグメンテーションを統合的に実行する統一モデルであるDepth-aware Video Panoptic Segmentation (DVPS)を提案する。このモデルは最先端の性能を達成し、KITTI深度推定およびKITTI MOTSで1位を獲得。Cityscapes-VPSでも1位を達成し、従来手法より5.1%高いVPQを達成した。

ABSTRACT

In this paper, we present ViP-DeepLab, a unified model attempting to tackle the long-standing and challenging inverse projection problem in vision, which we model as restoring the point clouds from perspective image sequences while providing each point with instance-level semantic interpretations. Solving this problem requires the vision models to predict the spatial location, semantic class, and temporally consistent instance label for each 3D point. ViP-DeepLab approaches it by jointly performing monocular depth estimation and video panoptic segmentation. We name this joint task as Depth-aware Video Panoptic Segmentation, and propose a new evaluation metric along with two derived datasets for it, which will be made available to the public. On the individual sub-tasks, ViP-DeepLab also achieves state-of-the-art results, outperforming previous methods by 5.1% VPQ on Cityscapes-VPS, ranking 1st on the KITTI monocular depth estimation benchmark, and 1st on KITTI MOTS pedestrian. The datasets and the evaluation codes are made publicly available.

研究の動機と目的

• 2次元画像系列からセマンティックおよびインスタンスレベルの一貫性を持つ3次元点群を復元することで、視覚における逆投影問題に対処すること。
• 単眼深度推定と動画パノプティックセグメンテーションを1つのタスクとして統合し、Depth-aware Video Panoptic Segmentation (DVPS) と呼ぶ。
• 深度とセグメンテーションの両方の性能を統合的に測定する新しい評価指標、Depth-aware Video Panoptic Quality (DVPQ) を開発すること。
• 既存データに深度および3次元アノテーションを追加することで、公開用の2つのデータセット、Cityscapes-DVPS および SemKITTI-DVPS を作成すること。
• DVPSのための新しい最先端のベースラインを確立し、深度推定およびマルチオブジェクトトラッキングを含む個々のサブタスクにおいて優れた性能を発揮すること。

提案手法

• 連続する動画フレーム間のセンター回帰を実行するようにPanoptic-DeepLabを拡張し、オフセット予測により時間的に一貫性のあるインスタンス追跡を可能にする。
• 共有バックボーンと、深度推定およびパノプティックセグメンテーションのための別々のヘッドを備えた2ストリームアーキテクチャを採用し、エンドツーエンドで訓練する。
• 耐性を高めるために、テスト時増強（マルチスケール推論および水平反転）とデータ増強（AutoAugment）を適用する。
• 特徴表現および時間的一致性を向上させるために、Recursive Feature Pyramid (RFP) と Dense Context モジュールを統合する。
• ラベルなし動画シーケンスを用いた自己教師型学習（疑似ラベル付け）を活用し、追加のアノテーションなしで時間的一致性を向上させる。
• KITTI MOTSで追跡結果を精緻化するためにカルマンフィルタの後処理を適用し、遮蔽されたまたは見逃されたオブジェクトの局所化を改善する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングモデルは、単眼深度推定と動画パノプティックセグメンテーションを統合的に効果的に行えるか？
• RQ2 複雑なトラッキングヘッドに依存せずに、フレーム間のインスタンスレベル予測の時間的一致性をどのように達成できるか？
• RQ3 ラベルなし動画シーケンスを用いた自己教師型事前学習が、DVPSの性能向上に与える影響は何か？
• RQ4 1つのモデルが、深度推定、動画パノプティックセグメンテーション、マルチオブジェクトトラッキングという複数のサブタスクで最先端の性能を達成できるか？
• RQ5 提案されたDVPQ指標は、動画における深度とセグメンテーションの統合的性能を評価する上で、従来の指標と比べてどのように優れているか？

主な発見

• Cityscapes-VPSベンチマークにおいて、ViP-DeepLabは従来の最先端手法VPSNetよりも5.1%高いVPQを達成した。
• KITTI単眼深度推定ベンチマークでは、DORNを0.97 SILog上回り、惑星規模の深度データを使用するMPSDですら上回った。
• KITTI MOTSベンチマークでは、歩行者で67.7%のsMOTSA、車両で80.6%を達成し、1位を獲得。PointTrackをそれぞれ7.2%および2.5%上回った。
• カルマンフィルタの後処理を追加することで、歩行者でsMOTSAが1.0%、車両で0.4%向上し、遮蔽対象の処理効果が明確に示された。
• ラベルなしCityscapes動画を用いた自己教師型事前学習により、VPQ4でVPQが0.6%向上し、長期的な時間的一致性の向上が顕著に確認された。
• ImageNetおよびCityscapes以外の追加深度学習データを一切使用せず、最先端の性能を達成した。これは、モデルの汎化能力の高さを示している。