[論文レビュー] CVAE-H: Conditionalizing Variational Autoencoders via Hypernetworks and Trajectory Forecasting for Autonomous Driving

Geunseob Oh, Huei Peng|arXiv (Cornell University)|Jan 24, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

CVAE-H は、ハイパーネットを組み合わせた条件付き変分オートエンコーダーを提案し、自動運転における確率的でマルチモーダル、コンテキスト駆動型、一般化可能な軌道予測を実現する。LiDAR や地図、軌道などの高次元のシーン特徴からハイパーネットを用いて VAE の重みを条件付きで生成することで、PRECOG-Carla town01 ベンチマークで minMSD 0.312 を達成し、多くの生成モデルを上回る最先端の性能を発揮するとともに、不確実性の定量化を維持する。

ABSTRACT

The task of predicting stochastic behaviors of road agents in diverse environments is a challenging problem for autonomous driving. To best understand scene contexts and produce diverse possible future states of the road agents adaptively in different environments, a prediction model should be probabilistic, multi-modal, context-driven, and general. We present Conditionalizing Variational AutoEncoders via Hypernetworks (CVAE-H); a conditional VAE that extensively leverages hypernetwork and performs generative tasks for high-dimensional problems like the prediction task. We first evaluate CVAE-H on simple generative experiments to show that CVAE-H is probabilistic, multi-modal, context-driven, and general. Then, we demonstrate that the proposed model effectively solves a self-driving prediction problem by producing accurate predictions of road agents in various environments.

研究の動機と目的

• 自動運転車両が多様な都市環境において、確率的でマルチモーダルな行動を示す道路利用者を予測する課題に対処すること。
• 確率的でマルチモーダル、コンテキスト駆動型（社会的および空間的特徴を統合）であり、さまざまな走行シナリオに一般化可能な予測モデルを開発すること。
• 固定された埋め込み層に依存する従来の条件付き VAE の限界を克服し、情報の流れの向上と高次元入力へのスケーラビリティを向上させるために、ハイパーネットベースの条件づけ機構を導入すること。
• 特定のシナリオに特化したチューニングなしに、未知の都市構造にも一般化できることを実証すること。

提案手法

• LiDAR ポイントクラウド、高精細地図、ラベル付き軌道などの高次元のコンテキスト入力から、ハイパーネットを用いて CVAE のエンコーダーおよびデコーダーの重みを生成する。
• ハイパーネットを用いて、VAE のすべてのパラメータ（重みおよびバイアスなど）を動的に生成することで、完全なエンドツーエンドの微分可能であり、すべてのネットワーク層にわたるコンテキスト情報の流れを向上させる。
• ハイパーネットの出力により、空間的特徴（例：レーン構造、ストップサイン、横断歩道）および社会的特徴（周囲のエージェントの相対的位置および速度）を両方とも条件づける。
• 再パrameterization ティックを用いた変分推論の目的関数に基づいて学習を行い、効率的なバックプロパゲーションを可能にするエビデンス下限界（ELBO）を最適化する。
• 予測結果をガウス混合モデル（GMM）として出力することで、不確実性の定量化を可能とし、マルチモーダルな軌道生成を支援する。
• ハイパーネットが複雑でタスク固有のネットワーク重みを生成できる能力を活用することで、モデルの深さや幅を増加させることなく、高次元入力へのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットベースの条件づけ機構は、高次元の軌道予測タスクにおける条件付き VAE の表現力とスケーラビリティを向上させることができるか？
• RQ2 CVAE-H は多様な都市走行環境において、空間的および社会的コンテキストを効果的に捉え、コンテキスト駆動型のマルチモーダル予測を実現できるか？
• RQ3 ベンチマークデータセット上での予測精度および不確実性の定量化の観点から、CVAE-H は最先端のモデルと比較してどのように差をつけるか？
• RQ4 CVAE-H は、再訓練やシナリオ特化の適応なしに、未確認の走行シナリオにどの程度一般化できるか？

主な発見

• CVAE-H は、K=12 個の軌道サンプルを用いて PRECOG-Carla town01 テストセットで minMSD 0.312 を達成し、Social-GAN（1.464）、R2P2（0.843）、DESIRE（2.599）を含む大多数の生成モデルを上回る。
• 確率的でありながら、多様でマルチモーダルな予測が可能なにもかかわらず、決定論的モデル MFP（minMSD 0.279）と比較して競争力のある性能を発揮する。
• CVAE-H は、列のダイナミクスを正しく捉えている：列の先頭にいる車両は前進する可能性を予測（x 方向に長い不確実性を示す）が、列の後方の車両は停止したままの状態を予測しており、コンテキストに配慮した行動を示している。
• モデルは環境間で一般化可能である：一貫した、状況に適した予測が、同じ訓練済みモデルを用いてさまざまな構成（例：異なる列の長さ）で得られている。
• ガウス混合モデル（GMM）出力層の使用により、不確実性の定量化が可能となり、予測軌道の確率分布が得られる。これは、後続の計画モジュールにとって不可欠である。
• CVAE-H は優れた一般化性能を示しており、シーン内の全5台のエージェントに対して、正確で多様かつコンテキストに適した予測を生成している。個々の minMSD 値は、Car 1（0.151）から Car 5（0.404）の範囲にあり、いずれもベースラインモデルを下回っている。