[論文レビュー] Predicting Motion of Vulnerable Road Users using High-Definition Maps and Efficient ConvNets

Fang‐Chieh Chou, Tsung-Han Lin+7 more|arXiv (Cornell University)|Jun 20, 2019

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本稿では、高精度地図のラスタライゼーションと効率的なConvNetsを用いて、都市環境における歩行者および自転車利用者の運動を予測する深層学習フレームワークを提案する。ラスタライゼーションの解像度、回転、シーンの文脈（例：信号機、レーンの方向）を最適化することで、高い精度と低遅延を達成し、自動運転車両におけるリアルタイム導入を可能にする。

ABSTRACT

Following detection and tracking of traffic actors, prediction of their future motion is the next critical component of a self-driving vehicle (SDV) technology, allowing the SDV to operate safely and efficiently in its environment. This is particularly important when it comes to vulnerable road users (VRUs), such as pedestrians and bicyclists. These actors need to be handled with special care due to an increased risk of injury, as well as the fact that their behavior is less predictable than that of motorized actors. To address this issue, in the current study we present a deep learning-based method for predicting VRU movement, where we rasterize high-definition maps and actor's surroundings into a bird's-eye view image used as an input to deep convolutional networks. In addition, we propose a fast architecture suitable for real-time inference, and perform an ablation study of various rasterization approaches to find the optimal choice for accurate prediction. The results strongly indicate benefits of using the proposed approach for motion prediction of VRUs, both in terms of accuracy and latency.

研究の動機と目的

• 歩行者や自転車利用者など、怪我のリスクが高く、自動車と比べて予測が難しい脆弱な道路利用者（VRU）の運動予測という課題に対処すること。
• レーンのトポロジー、信号機、道路の幾何構造などの詳細なシーンの文脈を深層学習フレームワークに統合することで、運動予測の精度を向上させること。
• 密度の高い都市環境で動作する自動運転車両向けに、リアルタイム推論に適した高速で効率的なCNNアーキテクチャを開発すること。
• ラスタライゼーション設定（解像度、回転、特徴エンコード）の最適化を特定するため、包括的なアブレーションスタディを実施し、VRUの予測性能を最大化すること。
• オフラインテストと実際のSDV運用におけるオンボードデプロイメントを通じて、システムの有効性を検証すること。

提案手法

• 高精度（HD）マップおよび周囲のシーンの文脈（レーンの幾何、信号機、アクターの位置など）を、さまざまな解像度（0.1m、0.2m、0.3m）でビューアー上（BEV）の特徴マップにラスタライズする。
• アクターの進行方向が上向きになるように、ラスタライズされたBEV特徴マップを回転させ、入力のばらつきを低減し、CNNの予測タスクを単純化する。
• 自動運転車両の組み込みシステムでリアルタイム推論に適した、軽量で効率的なConvNetアーキテクチャを採用する。
• 信号機の状態やレーン方向インジケータ（色によるエンコード）といったシーン固有の特徴を、ラスタ入力に組み込み、VRUの運動に影響を与える文脈的制約をモデル化する。
• 一般の運動パターンを活用しつつ、VRU固有の行動に適応するため、事前学習済みの車両運動モデルを微調整してVRU予測モデルを訓練する。
• アブレーションスタディを通じて、複数のラスタライゼーション設定を評価し、解像度、回転、特徴エンコードが予測精度に与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 ラスタライゼーション解像度（0.1m、0.2m、0.3m）の選択が、歩行者および自転車利用者の運動予測精度にどのように影響するか？
• RQ2 アクターの進行方向を画像の上部に揃えるように、ラスタライズされたBEVマップを回転させることで、予測性能がどの程度向上するか？
• RQ3 信号機の状態とレーン方向情報のラスタライズ入力への組み込みが、VRU軌道予測の正確性にとってどの程度重要か？
• RQ4 事前学習済みの車両運動モデルをVRU予測に有効に微調整できるか？また、初期学習から訓練するのと比べて、性能はどの程度異なるか？
• RQ5 どのラスタライゼーション設定の組み合わせが、リアルタイムSDVデプロイメントにおける精度と計算効率の最適なバランスを達成するか？

主な発見

• 0.1m解像度のラスタライゼーションが歩行者に対して最小の予測誤差を達成したのに対し、0.3m解像度では最も悪かった。これは、遅い速度で移動するアクターにとって、より細かい空間的詳細が有益であることを示している。
• ラスタライズ入力を回転させない場合、歩行者および自転車利用者の両方で精度が著しく低下した。これは、回転が入力分布を安定化させ、学習を容易にする効果があることを示している。
• 信号機の状態情報を除外した場合、両方のアクター種別で予測誤差が増加した。特に明確な事例として、信号機の状態が変化することで自転車利用者の予測軌道が「渡る」から「待つ」に変わったことが確認された。
• レーン方向のエンコードは自転車利用者の予測精度をわずかに向上させたが、歩行者には影響がなかった。これは、レーン誘導が車両のような行動にのみ関連していることを確認している。
• ラスタカラーをエンドツーエンドで学習させると、自転車利用者の予測精度はわずかに向上したが、歩行者の性能は劣化した。これは、手動で設計された色エンコードが、歩行者には十分な信号をすでに捉えていることを示唆している。
• 車両の事前学習重みを微調整することで、自転車利用者の予測精度がベースラインを上回ったが、歩行者の予測精度は悪化した。これは、車両の運動パターンが歩行者の行動とは大きく異なるため、移行性が低いことを示している。