[論文レビュー] FISHING Net: Future Inference of Semantic Heatmaps In Grids

Noureldin Hendy, Cooper Stokes Sloan+6 more|arXiv (Cornell University)|Jun 17, 2020

Distributed and Parallel Computing Systems参考文献 17被引用数 51

ひとこと要約

本論文は、LiDAR、レーダー、カメラデータから現在および近未来の俯瞰セマンティックグリッドを予測するエンドツーエンドのマルチモーダルフレームワークを提案し、統一されたモダリティ横断知覚と短期予測を実現します。

ABSTRACT

For autonomous robots to navigate a complex environment, it is crucial to understand the surrounding scene both geometrically and semantically. Modern autonomous robots employ multiple sets of sensors, including lidars, radars, and cameras. Managing the different reference frames and characteristics of the sensors, and merging their observations into a single representation complicates perception. Choosing a single unified representation for all sensors simplifies the task of perception and fusion. In this work, we present an end-to-end pipeline that performs semantic segmentation and short term prediction using a top-down representation. Our approach consists of an ensemble of neural networks which take in sensor data from different sensor modalities and transform them into a single common top-down semantic grid representation. We find this representation favorable as it is agnostic to sensor-specific reference frames and captures both the semantic and geometric information for the surrounding scene. Because the modalities share a single output representation, they can be easily aggregated to produce a fused output. In this work we predict short-term semantic grids but the framework can be extended to other tasks. This approach offers a simple, extensible, end-to-end approach for multi-modal perception and prediction.

研究の動機と目的

• 複数センサーの観測を単一でセンサに依存しない俯瞰セマンティックグリッド表現へ統合する。
• 1つのエンドツーエンドパイプライン内で同時の知覚と短期予測を可能にする。
• マルチモーダルセマンティックグリッド出力に対する異なる融合戦略の利点を評価する。
• 多様なセンサーモダリティと参照フレームへフレームワークの拡張性を示す。

提案手法

• モダリティ別のエンコーダ-デコーダネットワークのアンサンブルが各センサー用の俯瞰セマンティックグリッドの連続を出力する。
• ビジョンはエンコーダとデコーダの間でピクセル空間から俯瞰への学習済み直交特徴変換を用いる。
• LiDARとレーダーはグリッドを予測するためにU-Net型のエンコーダ-デコーダを採用する。
• 複数カメラのビジョン特徴は共通のエンコーダの後、学習済みの直交変換で融合される。
• マルチモーダル融合はモダリティ間のソフトマックス出力を平均プーリングまたは優先度ベースのプールで集約する。

実験結果

リサーチクエスチョン

• RQ1 複数のセンサーモダリティ（LiDAR、レーダー、カメラ）を共通の俯瞰セマンティックグリッド表現にマッピングできるか？
• RQ2 現在と近未来のセマンティックグリッドのエンドツーエンド融合は自律運転の知覚と短期予測を改善するか？
• RQ3 異なる融合戦略（平均と優先度プール）はモダリティ間の知覚精度にどう影響するか？
• RQ4 出力グリッド表現を変更せずに追加モダリティや参照フレームへ拡張可能か？
• RQ5 公開データセット（NuScenes、Lyft）と目的別データセットでのフレームワークの比較性能はどうか？

主な発見

• 本フレームワークは短期未来のセマンティックグリッドを予測でき、3クラス（VRU、車両、背景）まで対応。
• NuScenesおよびLyftデータセットにおいて、現在および近未来のグリッドでLiDARは視覚情報より一般に高い精度と再現率を示す。
• 視覚ベースの俯瞰予測は実現可能だが、単眼手掛かりからの深度推定と自己位置推定のためにより難しい。
• 平均プーリングは一般に高い精度を、優先度プーリングは高い再現率を各データセットで示す。
• レーダーは補完的な深度/キネマティクス情報を提供し、それが含まれる目的別データセットで性能を向上させる。
• より大規模で豊かなデータセットに拡張可能で、モダリティが増えるほど性能が向上する（報告された結果では LiDAR > Radar > Vision）。