[論文レビュー] DS-PASS: Detail-Sensitive Panoramic Annular Semantic Segmentation through SwaftNet for Surrounding Sensing

Kailun Yang, Xinxin Hu+4 more|arXiv (Cornell University)|Sep 17, 2019

Advanced Neural Network Applications参考文献 33被引用数 8

ひとこと要約

本稿では、DS-PASSを提案する。これは、詳細に敏感なパノラマアンギュラー意味セグメンテーションフレームワークであり、SwaftNet—リアルタイムで注意機構を備えたエンコーダデコーダネットワークで、側面のスキップ接続を介して特徴の統合を強化し、事前学習済みのピンホールカメラ意味セグメンテーションネットワークをパノラマ画像に適応させる。この手法は拡張されたPASSデータセットで最先端の性能を達成し、モバイルロボットや装備された車両にデプロイされた際、強力なリアルタイム推論と改善されたビジョメトリを示す。

ABSTRACT

Semantically interpreting the traffic scene is crucial for autonomous transportation and robotics systems. However, state-of-the-art semantic segmentation pipelines are dominantly designed to work with pinhole cameras and train with narrow Field-of-View (FoV) images. In this sense, the perception capacity is severely limited to offer higher-level confidence for upstream navigation tasks. In this paper, we propose a network adaptation framework to achieve Panoramic Annular Semantic Segmentation (PASS), which allows to re-use conventional pinhole-view image datasets, enabling modern segmentation networks to comfortably adapt to panoramic images. Specifically, we adapt our proposed SwaftNet to enhance the sensitivity to details by implementing attention-based lateral connections between the detail-critical encoder layers and the context-critical decoder layers. We benchmark the performance of efficient segmenters on panoramic segmentation with our extended PASS dataset, demonstrating that the proposed real-time SwaftNet outperforms state-of-the-art efficient networks. Furthermore, we assess real-world performance when deploying the Detail-Sensitive PASS (DS-PASS) system on a mobile robot and an instrumented vehicle, as well as the benefit of panoramic semantics for visual odometry, showing the robustness and potential to support diverse navigational applications.

研究の動機と目的

• 狭い視野（FoV）のピンホール画像で訓練された意味セグメンテーションモデルをパノラマアンギュラー画像に移行する際の性能低下を解消すること。
• エンコーダとデコーダ間の特徴統合を向上させることで、歩行者や歩道など小さなまたは遠く離れた物体の詳細に敏感なパノラマ意味セグメンテーションを向上させること。
• 新しい大規模なパノラマアノテーションを必要とせずに、メガピクセル解像度のパノラマ画像上で効率的かつリアルタイムの意味セグメンテーションを実現すること。
• 実世界の自律走行タスクにおけるパノラマ意味情報の強度と有用性を検証すること、特にビジョメトリと車両レベルのセンシングを含む。

提案手法

• 狭い視野のピンホール画像で訓練された意味セグメンテーションモデルの知識を再利用するネットワーク適応フレームワークを提案し、ドメインシフトや画像境界における盲点を回避する。
• 深く文脈に富んだエンコーダ層と浅く詳細に敏感なデコーダ層の間に注意に基づく側面接続を持つリアルタイム意味セグメンテーションネットワークであるSwaftNetを導入する。
• 低レベルの空間的詳細と高レベルの意味的特徴を動的に重み付けして統合するための側面注意モジュールを採用し、微細な物体のセグメンテーション精度を向上させる。
• 歩行者、歩道、レーンマーキングなど詳細に敏感なクラスのための詳細なアノテーションを追加することでPASSデータセットを拡張し、詳細に敏感な評価を可能にする。
• 360°×70°のアンギュラーレンズシステムを搭載したモバイルロボットおよび装備された電気自動車にDS-PASSシステムをデプロイし、実世界での強度と性能を検証する。
• 最先端のビジョメトリシステム（PALVO）とパノラマ意味予測を統合し、意味的一致性を用いてキーポイントマッチをフィルタリングすることで、軌道のなめらかさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 狭い視野のピンホール画像で訓練された事前学習済みの意味セグメンテーションモデルを、性能の急激な低下を伴わずにパノラマアンギュラー画像に適応できるか？
• RQ2 注意に基づく特徴統合は、特に小さなまたは遠く離れた物体に対して、パノラマ意味セグメンテーションの詳細に敏感な性能をどのように向上させられるか？
• RQ3 パノラマ意味セグメンテーションは、動的で実世界の環境下でビジョメトリの強度と正確性をどの程度向上させられるか？
• RQ4 SwaftNetのようなリアルタイムで効率的なセグメンテーションネットワークは、メガピクセル解像度のパノラマ画像上で高い精度を維持しながら、既存の効率的アーキテクチャを上回ることができるか？

主な発見

• 提案されたネットワーク適応戦略は、パノラマアンギュラー画像に適用した際、すべての最先端の効率的セグメンテーションモデルで一貫して性能を向上させる。
• SwaftNetは拡張されたPASSデータセットで新たな最先端性能を達成し、既存の効率的ネットワークを上回りながらもリアルタイム推論速度を維持する。
• モバイルロボットにデプロイされたDS-PASSシステムは、最適でない垂直視角下でも高品質なセグメンテーションを維持し、視覚歪みに対して強固であることを示す。
• 装備された電気自動車では、システムが明確で定義された道路の意味マップを提供し、単一カメラ構成のインテリジェントビークル（IV）アプリケーションに特に適している。
• DS-PASS予測を用いた意味的意識のあるビジョメトリ（意味的PALVO）は、ベースラインオドメトリと比較して、より滑らかな軌道と低い速度標準偏差を実現し、ドリフトを低減し、強度を向上させる。
• ベースラインセグメンテーションモデルを用いた意味的PALVOシステムは、希薄で不正確なインライアーマッチのため頻繁に失敗するが、これはDS-PASSの詳細を保持するセグメンテーションがナビゲーションタスクにおいて優れていることを確認する。