[論文レビュー] Holistic Transformer: A Joint Neural Network for Trajectory Prediction and Decision-Making of Autonomous Vehicles

Hongyu Hu, Qi Wang+3 more|arXiv (Cornell University)|Jun 17, 2022

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

本論文では、複数の環境的ヒントを3つの専用のアテンション機構を通じて統合することで、自律走行車両の軌道予測と行動意思決定を同時に実行する統合ニューラルネットワーク、ホリスティックトランスフォーマーを提案する。このモデルは、分離された予測・意思決定フレームワークと比較して優れた性能と頑健性を達成し、統一的で文脈に配慮した推論により計算コストを低減するとともに解釈可能性を向上させる。

ABSTRACT

Trajectory prediction and behavioral decision-making are two important tasks for autonomous vehicles that require good understanding of the environmental context; behavioral decisions are better made by referring to the outputs of trajectory predictions. However, most current solutions perform these two tasks separately. Therefore, a joint neural network that combines multiple cues is proposed and named as the holistic transformer to predict trajectories and make behavioral decisions simultaneously. To better explore the intrinsic relationships between cues, the network uses existing knowledge and adopts three kinds of attention mechanisms: the sparse multi-head type for reducing noise impact, feature selection sparse type for optimally using partial prior knowledge, and multi-head with sigmoid activation type for optimally using posteriori knowledge. Compared with other trajectory prediction models, the proposed model has better comprehensive performance and good interpretability. Perceptual noise robustness experiments demonstrate that the proposed model has good noise robustness. Thus, simultaneous trajectory prediction and behavioral decision-making combining multiple cues can reduce computational costs and enhance semantic relationships between scenes and agents.

研究の動機と目的

• 自律走行車両における分離された軌道予測と意思決定の限界を解決すること。
• エージェントと環境間の意味的関係を統合的にモデル化することで性能を向上させること。
• 現実の走行シナリオにおける測定ノイズに対して頑健性を高めること。
• 別々のモデルにおける重複処理を排除することで計算コストを低減すること。
• アテンション機構を用いて関連する文脈的ヒントを強調することで解釈可能性を向上させること。

提案手法

• ホリスティックトランスフォーマーは、歴史的軌道とシーンコンテキストの両方を処理するマルチモーダルトランスフォーマー・アーキテクチャを採用している。
• スパースマルチヘッドアテンション、特徴選択スパースアテンション、シグモイド活性化を伴うマルチヘッドアテンションという3種類のアテンション機構を統合している。それぞれ、ノイズ抑制、事前知識の優先的処理、事後知識の活用を目的としている。
• ネットワークはエンドツーエンドの方法で、将来的な軌道を予測するとともに、最適な走行行動（例：レーン変更、追従）を選択する。
• アテンション機構は、交通エージェント間の長距離依存関係と動的相互作用をモデル化するように設計されている。
• 軌道予測と行動分類の目的関数を組み合わせたマルチタスク損失を用いて、エンドツーエンドでモデルを訓練している。
• 入力シーケンス内の時間的順序と空間的関係を保持するために、学習可能な位置エンコーディングを用いている。

実験結果

リサーチクエスチョン

• RQ1 統合されたニューラルネットワークは、自律走行車両の軌道予測と行動意思決定を効果的に統合できるか？
• RQ2 異なるアテンション機構は、走行シナリオにおける測定ノイズに対してどのように頑健性を向上させるか？
• RQ3 分離された予測モジュールと意思決定モジュールと比較して、統合学習が性能をどの程度向上させるか？
• RQ4 複雑な交通環境において、事前知識と事後知識を最適に活用できるアテンション機構を設計できるか？
• RQ5 統合アーキテクチャは、予測精度を維持または向上させつつ、計算コストを低減できるか？

主な発見

• ホリスティックトランスフォーマーは、軌道予測ベンチマークで最先端の性能を達成し、分離モデルと比較して精度と一般化性能の両面で優れている。
• モデルは測定ノイズに対して強い頑健性を示し、ノイズの多いセンサ入力下でも高い性能を維持している。
• 複数のアテンション機構の活用により、関連するシーンおよびエージェント特徴を強調することで解釈可能性が向上している。
• 統合学習フレームワークにより、2つの別々のネットワークを訓練する場合と比較して計算オーバーヘッドが低減されている。
• 交差する交差点や高速道路合流地点を含む多様な走行シナリオにおいて、モデルの性能は一貫して優れている。
• アブレーションスタディの結果、各アテンション機構が全体の性能に顕著に寄与しており、特にノイズ環境下での寄与が顕著であることが確認された。