[論文レビュー] MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird's Eye View Maps

Pengxiang Wu, Siheng Chen+1 more|arXiv (Cornell University)|Mar 15, 2020

Autonomous Vehicle Technology and Safety参考文献 61被引用数 9

ひとこと要約

MotionNet は、空間的・時間的整合性損失を用いた新規な時空間ピラミッドネットワークを活用し、LiDAR ポイントクラウドから鳥眼視点（BEV）マップ表現を用いて、同時に認識と運動予測を実行する深層学習モデルである。nuScenes データセットにおいて最先端の性能を達成し、検出ベースおよびシーンフローに基づく手法を上回っており、オープンセットのシナリオにおいて未学習の物体カテゴリに対しても頑健である。

ABSTRACT

The ability to reliably perceive the environmental states, particularly the existence of objects and their motion behavior, is crucial for autonomous driving. In this work, we propose an efficient deep model, called MotionNet, to jointly perform perception and motion prediction from 3D point clouds. MotionNet takes a sequence of LiDAR sweeps as input and outputs a bird's eye view (BEV) map, which encodes the object category and motion information in each grid cell. The backbone of MotionNet is a novel spatio-temporal pyramid network, which extracts deep spatial and temporal features in a hierarchical fashion. To enforce the smoothness of predictions over both space and time, the training of MotionNet is further regularized with novel spatial and temporal consistency losses. Extensive experiments show that the proposed method overall outperforms the state-of-the-arts, including the latest scene-flow- and 3D-object-detection-based methods. This indicates the potential value of the proposed method serving as a backup to the bounding-box-based system, and providing complementary information to the motion planner in autonomous driving. Code is available at https://github.com/pxiangwu/MotionNet.

研究の動機と目的

• 新しい物体カテゴリが出現するオープンセットのシナリオにおいて、ボクセルボックスベースの認識システムの限界を克服すること。
• 統一された BEV 表現において、物体カテゴリ、占有状態、運動ダイナミクスを同時に推論することで、運動予測の頑健性を向上させること。
• 標準の検出ベースシステムのバックアップとして機能し、補完的な運動計画データを提供できる、効率的でリアルタイム対応のシステムを開発すること。
• 空間的・時間的滑らかさを新たな整合性損失によって強制することで、予測の現実性と信頼性を向上させること。
• 特にレアまたは未学習のクラスに対して、物体認識に運動の手がかりを活用することで、検出フリーの認識を可能とすること。

提案手法

• MotionNet は LiDAR スイープの連続を処理し、各グリッドセルに占有状態、物体カテゴリ、運動（変位ベクトル）をエンコードする BEV マップを生成する。
• 2次元空間畳み込みを適用した後、軽量な擬似1次元時間畳み込みを用いることで階層的特徴抽出を実現する、新規な時空間ピラミッドネットワーク（STPN）を採用する。
• 低レベルの運動の手がかりと高レベルの文脈をバランスよく統合するため、中間特徴統合戦略を用いた STPN である。
• 空間的・時間的整合性損失を用いてモデルを訓練することで、空間的・時間的領域で滑らかで現実的な運動予測を正則化する。
• 分類、状態推定、運動予測の予測ヘッドは、推論時に互いに補完し合うように設計されており、一貫性を向上させる。
• ネットワークはエンド・ツー・エンドで学習可能であり、53 Hz で実行可能で、リアルタイムでのデプロイが可能である。

実験結果

リサーチクエスチョン

• RQ1 BEV マップに基づく統合的認識と運動予測フレームワークは、自動運転ベンチマークにおいて、最先端の検出ベースおよびシーンフローに基づく手法を上回ることができるか？
• RQ2 ボクセルボックスフリーのアプローチは、未学習の物体カテゴリの検出と運動予測にどの程度効果的か？
• RQ3 複数の LiDAR スイープにわたる時空間特徴を最適に統合する戦略は何か？
• RQ4 空間的・時間的整合性損失は、運動予測の現実性と頑健性をどの程度向上させるか？
• RQ5 物体検出器が失敗するオープンセットのシナリオにおいて、運動の手がかりのみで信頼性の高い物体認識が可能か？

主な発見

• MotionNet は nuScenes データセットで 70.3% の全体精度（OA）と 5 m/s 以上の速度で移動する物体で 96.1% の精度を達成し、先行する最先端手法を上回った。
• モデルは、3D 物体検出器が完全に失敗するような未学習の物体カテゴリ（例：車いすで移動する障害者）に対しても強固な性能を維持した。
• 提案された STC ブロックを用いた中間統合戦略が、精度と推論速度の最良のトレードオフを達成し、早期統合および遅延統合のバリエーションを上回った。
• 補助的な状態推定ヘッドと相対的変位予測を用いることで、性能が向上し、運動のジャイタリティが低減した。
• 空間的・時間的整合性損失は、予測ノイズを効果的に抑制し、運動予測の滑らかさと現実性を向上させた。
• 運動ベクトルを含む BEV 表現は、より細かいボクセル化よりも幾何的詳細と計算コストのバランスに優れており、細かいグリッド化は性能向上をもたらさずにコストを増加させる。