[論文レビュー] Learning to Drive Anywhere

Ruizhao Zhu, Peng Huang+2 more|arXiv (Cornell University)|Sep 21, 2023

Traffic Prediction and Management TechniquesEngineering被引用数 3

ひとこと要約

本論文は、中間の画像レベルのヒートマップやソフトアーグマックス操作を経由せずに、直接BEV（上空視点）のウェイポイントを回帰する、地理的特徴を組み込んだエンドツーエンドの画像からBEVへのトラジェクトリ予測モデルであるAnyDを提案する。都市レベルの埋め込みを用いた領域的チャネルアテンションモジュールを組み込むことで、マルチシティベンチマークで1.93 FDEを達成し、広州のような未学習都市に対しても効果的に一般化する。CARLAにおけるオープンループおよびクローズドループ評価の両方で、地理的特徴を考慮しないベースラインを上回った。

ABSTRACT

Human drivers can seamlessly adapt their driving decisions across geographical locations with diverse conditions and rules of the road, e.g., left vs. right-hand traffic. In contrast, existing models for autonomous driving have been thus far only deployed within restricted operational domains, i.e., without accounting for varying driving behaviors across locations or model scalability. In this work, we propose AnyD, a single geographically-aware conditional imitation learning (CIL) model that can efficiently learn from heterogeneous and globally distributed data with dynamic environmental, traffic, and social characteristics. Our key insight is to introduce a high-capacity geo-location-based channel attention mechanism that effectively adapts to local nuances while also flexibly modeling similarities among regions in a data-driven manner. By optimizing a contrastive imitation objective, our proposed approach can efficiently scale across inherently imbalanced data distributions and location-dependent events. We demonstrate the benefits of our AnyD agent across multiple datasets, cities, and scalable deployment paradigms, i.e., centralized, semi-supervised, and distributed agent training. Specifically, AnyD outperforms CIL baselines by over 14% in open-loop evaluation and 30% in closed-loop testing on CARLA.

研究の動機と目的

• 交通ルール、インfra構造、運転行動が異なる多様な都市環境において、一般化可能なエンドツーエンドのドライブエージェントを訓練する課題に対処すること。
• 中間のヒートマップ回帰やソフトアーグマックスに依存する従来の画像からBEVへのプランナの制限を克服し、表現力豊かな特徴マッピングを可能にすること。
• 地理的条件付き特徴変調を明示的に用いることで、新しい都市へのゼロショットおよびフェイントショットの適応を向上させること。
• オープンループトラジェクトリ予測およびクローズドループシミュレーション（CARLA）の両方で、強力な性能を示すこと、特に成功確率の向上と違反行動の低減を含む。

提案手法

• 画像および速度特徴から直接BEVウェイポイントを回帰する簡素化されたネットワークアーキテクチャを提案し、アップサンプリングおよびヒートマップ生成ステップを排除する。
• 都市レベルの埋め込み（地理的条件付きモジュール）を用いて特徴マップを変調する領域的チャネルアテンションモジュールを導入し、地域に特化した表現学習を可能にする。
• ImageNetで事前学習されたResNet-34バックボーンを用い、入力画像を400×225にリサイズし、画像特徴と速度特徴を3×3畳み込みにより融合し、最終的な全結合層へと接続する。
• GPSおよびLiDARエゴポーズから導出された標準化されたBEVウェイポイントアノテーションを備えたマルチシティデータセット（Argoverse 2, nuScenes, Waymo）を活用する。
• 教師ありおよび半教師あり学習の組み合わせで学習：YouTube動画（11都市分）をAnyDで疑似ラベル付けし、その後混合データでファインチューニングする。
• OSMのGPSトレースをK-meansクラスタリングすることで、正確なGPSがなくても都市のサブレジオンを定義し、地理的条件付きの監視を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なる交通ルールやインfra構造を持つ多様な都市環境において、明示的なドメイン適応なしに、単一のエンドツーエンドモデルが一般化可能か？
• RQ2 中間の画像レベルのヒートマップやソフトアーグマックスを排除することで、BEVウェイポイント予測の性能と一般化性能が向上するか？
• RQ3 地理的条件付き特徴変調は、ドメインギャップが生じる新しい都市へのゼロショットおよびフェイントショット適応をどの程度向上させるか？
• RQ4 クローズドループシミュレーション（特に左側走行や速度制限の違いといった地域的運転行動を扱う際）において、モデルの性能はいかがなものか？

主な発見

• 中間のヒートマップを排除した提案アーキテクチャにより、FDEは2.45から2.17に低下し、12.9%の改善が達成され、パラメータ数の増加も最小限（23.8M vs. 24.1M）。
• 3つのアダプタを備えた地理的条件付きモジュールを組み込むと、提案損失関数を用いたベースライン比でFDEは1.93にさらに低下し、11.1%の改善が得られた。
• CARLAにおいて、AnyDはクローズドループ指標を向上させた：ドライブスコアは0.36から0.50に上昇（相対的増加38.9%）、成功確率は29%から36%に、ルート完了率は50%から69%に向上した。
• 中国・広州でファインチューニングした場合、学習済み都市ではFDEが1.05から1.04に維持され、新都市である広州でもFDEが0.84を達成し、地理的特徴を考慮しないベースライン（1.33 FDE）を上回った。
• 定性的な結果から、合流や曲がり角の操作といった複雑な走行行動への一般化が、交通方向性や速度制限の異なる地域でも優れていることが示された。
• 失敗事例は主にレアまたは密集した交通行動に起因しており、極端またはまれなシナリオでは性能の限界が顕在化している。