[論文レビュー] Scene-Graph Augmented Data-Driven Risk Assessment of Autonomous Vehicle Decisions

Shih-Yuan Yu, Arnav Vaibhav Malawade+3 more|arXiv (Cornell University)|Aug 31, 2020

Autonomous Vehicle Technology and Safety参考文献 38被引用数 5

ひとこと要約

本論文は、マルチリレーション・グラフ畳み込みネットワーク、LSTM、アテンション機構を用いて空間的・時間的関係をモデル化する、シーングラフ拡張型のデータ駆動型アプローチを提案し、自律走行車の意思決定における主観的リスク評価を実現する。大規模な合成データセット上で96.4%の精度を達成し、実世界データセットでは87.8%の転移精度を示し、精度、転移性、説明可能性の面で最先端手法を上回る性能を発揮した。

ABSTRACT

Despite impressive advancements in Autonomous Driving Systems (ADS), navigation in complex road conditions remains a challenging problem. There is considerable evidence that evaluating the subjective risk level of various decisions can improve ADS' safety in both normal and complex driving scenarios. However, existing deep learning-based methods often fail to model the relationships between traffic participants and can suffer when faced with complex real-world scenarios. Besides, these methods lack transferability and explainability. To address these limitations, we propose a novel data-driven approach that uses scene-graphs as intermediate representations. Our approach includes a Multi-Relation Graph Convolution Network, a Long-Short Term Memory Network, and attention layers for modeling the subjective risk of driving maneuvers. To train our model, we formulate this task as a supervised scene classification problem. We consider a typical use case to demonstrate our model's capabilities: lane changes. We show that our approach achieves a higher classification accuracy than the state-of-the-art approach on both large (96.4% vs. 91.2%) and small (91.8% vs. 71.2%) synthesized datasets, also illustrating that our approach can learn effectively even from smaller datasets. We also show that our model trained on a synthesized dataset achieves an average accuracy of 87.8% when tested on a real-world dataset compared to the 70.3% accuracy achieved by the state-of-the-art model trained on the same synthesized dataset, showing that our approach can more effectively transfer knowledge. Finally, we demonstrate that the use of spatial and temporal attention layers improves our model's performance by 2.7% and 0.7% respectively, and increases its explainability.

研究の動機と目的

• 既存のディープラーニングベースのリスク評価手法が、交通参加者間の関係をモデル化する点と説明可能性を確保する点で抱える限界を解消すること。
• 実世界のアノテート済みデータセットが限られている状況において、シミュレーション訓練データから実世界への展開における転移性を向上させること。
• 空間的・時間的アテンション機構を組み込むことで、リスク意思決定に影響を与える重要なシーン要因を強調し、モデルの解釈性を向上させること。
• シーングラフを用いた意味的シーン理解により、レーン変更のような複雑な運転行動のリスク評価を効果的に行えるようにすること。
• 合成データの一般化性能を向上させることで、限られた実世界データでも高精度かつロバストな性能を達成できるデータ駆動型モデルの有効性を示すこと。

提案手法

• モデルは、エイド・アイ・ビューにおける交通参加者同士のオブジェクトの識別子、属性、空間的関係を符号化するため、シーングラフを中間表現として用いる。
• マルチリレーション・グラフ畳み込みネットワーク（MR-GCN）は、関係的文脈を符号化するノードおよびエッジ表現を学習するためにシーングラフを処理する。
• LSTMは、時間経過に伴うリスク進化の時間的ダイナミクスをモデル化するために、シーングラフ埋め込みの時系列を処理する。
• 空間的および時間的アテンション層を用いて、重要なノードやフレームに重みを付けることで、モデル性能と解釈性を向上させる。
• 最終的なリスク予測は、時間的アテンションからのコンテキストベクトルとグラフ埋め込みを組み合わせ、分類ヘッドを用いて生成される。
• タスクは、シミュレーション環境から合成された訓練データを用いた教師ありシーン分類問題として定式化される。

実験結果

リサーチクエスチョン

• RQ1 シーングラフ表現を組み込んだデータ駆動型リスク評価モデルは、合成データおよび実世界データの両方で、既存のCNN-LSTMベースラインを上回る精度を達成できるか？
• RQ2 提案手法は、最先端手法と比較して、合成訓練データから実世界テストデータへの一般化性をどの程度向上させられるか？
• RQ3 空間的および時間的アテンション機構は、自律走行車のリスク評価におけるモデル性能と説明可能性をどの程度向上させるか？
• RQ4 合成データから得られる知識を活用することで、限られた実世界データでも、改善された転移性を有するモデルが高精度を達成できるか？
• RQ5 交通参加者間の関係的特徴は、複雑な走行シナリオにおけるリスク認識と意思決定を向上させる上で、どのような役割を果たすか？

主な発見

• 提案モデルは、大規模な合成データセット（271-syn）で96.4%の分類精度を達成し、最先端手法の91.2%を上回った。
• より小さな合成データセット（96-syn）でも、モデルは91.8%の精度を達成したのに対し、ベースラインは71.2%にとどまり、優れたデータ効率性を示した。
• 実世界データセット（571-honda）でテストしたところ、モデルは87.8%の精度を維持したのに対し、ベースラインは70.3%に低下し、顕著な優れた転移性を示した。
• 合成データから実世界データへの転移時に、モデルは271-synおよび1043-synデータセットでそれぞれ6.7%および3.5%の平均精度低下を示したのに対し、ベースラインは21.3%および14.9%の低下を示した。
• 空間的および時間的アテンション機構の統合により、モデル精度はそれぞれ2.7%および0.7%向上し、リスク意思決定に影響を与える重要なシーン要因の可視化が可能になった。
• アテンション可視化により、モデルが危険度が上昇するに従い、エゴ車両および対向車両に高いアテンション重みを割り当てることで、直近の衝突などの高リスク相互作用を正しく特定していることが確認された。