[論文レビュー] Safety-Oriented Pedestrian Motion and Scene Occupancy Forecasting

Katie Luo, Sergio Casas+5 more|arXiv (Cornell University)|Jan 7, 2021

Autonomous Vehicle Technology and Safety参考文献 65被引用数 4

ひとこと要約

本稿では、自律走行における安全性を向上させるために、歩行者の運動とシーン全体の占有状態マップを同時に予測する、シーン・アクトル・グラフニューラルネットワーク（SA-GNN）を提案する。検出された歩行者同士の相互作用をモデル化するとともに、シーン全体の占有状態予測を組み込むことで、特に再現率とキャリブレーションにおいて最先端の性能を達成している。また、歩行者が検出後処理で見逃された場合でも、運動予測性能を維持している。

ABSTRACT

In this paper, we address the important problem in self-driving of forecasting multi-pedestrian motion and their shared scene occupancy map, critical for safe navigation. Our contributions are two-fold. First, we advocate for predicting both the individual motions as well as the scene occupancy map in order to effectively deal with missing detections caused by postprocessing, e.g., confidence thresholding and non-maximum suppression. Second, we propose a Scene-Actor Graph Neural Network (SA-GNN) which preserves the relative spatial information of pedestrians via 2D convolution, and captures the interactions among pedestrians within the same scene, including those that have not been detected, via message passing. On two large-scale real-world datasets, nuScenes and ATG4D, we showcase that our scene-occupancy predictions are more accurate and better calibrated than those from state-of-the-art motion forecasting methods, while also matching their performance in pedestrian motion forecasting metrics.

研究の動機と目的

• 信頼度しきい値や非最大抑制処理などの検出失敗によって生じる歩行者認識および運動予測における安全を脅かすギャップを解消すること。
• とくに検出されない横断者などのレアイベントや低確率イベントに対する、シーンの占有状態予測の正確性とキャリブレーションの向上。
• 個々の歩行者軌跡とシーン全体の占有状態を同時に予測する統合フレームワークの開発により、欠落検出に対する耐性を高めること。
• 現実世界の自律走行シナリオにおいて、高再現率で安全を重視した運動計画を実現するには、シーンの占有状態予測が不可欠であることを実証すること。

提案手法

• 2次元畳み込み特徴を用いて、各歩行者の領域の注目（RoI）内の空間的関係を保持し、並進不変性の問題を軽減する。
• RoI特徴に空間座標を符号化するためにCoordConvを導入し、個々のアクトルの局所化精度を向上させる。
• 検出された歩行者と専用のシーンノードをノードとして含むグラフを構築し、アクトルとシーン間でのメッセージパッシングを可能にする。
• アクトルからシーンおよびシーンからアクトルへの両方向のメッセージパッシングを実行し、シーンが歩行者の運動に影響を与え、逆に歩行者の行動がシーンの状態に影響を与えるようにする。
• インスタンスレベルの運動予測とシーンの占有状態予測を統合したマルチタスク損失を用いて、エンド・トゥ・エンドで学習する。
• シーンの占有状態マップはインスタンスフリーで密な形で予測され、後処理による検出結果に依存しない。

実験結果

リサーチクエスチョン

• RQ1 歩行者の運動とシーンの占有状態を同時に予測することで、検出失敗を補うことで自律走行における安全性が向上するか？
• RQ2 個々の歩行者同士の相互作用に加えてシーン全体の占有状態をモデル化すると、予測精度とキャリブレーションにどのような影響を与えるか？
• RQ3 シーンからアクトルへのメッセージパッシングを組み込むことで、検出されない歩行者に対する耐性はどの程度向上するか？
• RQ4 統合されたシーンの占有状態と運動予測フレームワークは、個別にインスタンスベースで運動予測を行う手法に比べて、再現率と信頼性において優れているか？
• RQ5 エンド・トゥ・エンドで学習されたモデルは、nuScenes や ATG4D といった実世界データセットにおいて、より良好なキャリブレーションと一般化性能を達成できるか？

主な発見

• ATG4Dデータセットにおいて、SA-GNNはシーンの占有状態予測でmAP 19.28を達成し、ベースラインのFCN（15.71）およびFCN+CoordConv（16.31）を顕著に上回った。
• ATG4Dにおいて、信頼性図がほぼ完璧に近い結果を示し、後処理なしで良好にキャリブレートされた不確実性推定が得られた。
• アブレーションスタディでは、シーンからアクトルへのメッセージを追加することで、検出されない歩行者の真値軌跡における平均占有確率が9.25％から5.46％に低下し、耐性の向上が実証された。
• SA-GNNは、シーンの占有状態予測において最先端の性能を達成しており、ACE（1.21）、MCE（2.55）、NLL（4.02）といったインスタンスレベルの運動予測指標においても、従来手法と同等または上回った。
• 低再現率領域においても高い精度を維持し、再現率の尾部が長く伸びており、まれなまたは信頼度の低い歩行者の検出に優れていることが示された。
• シーンからアクトルへのメッセージパッシングの導入により、シーンの占有状態予測および運動予測の両方の性能が向上し、シーンレベルの認識が全体の耐性を高めることを示した。