[論文レビュー] Can you text what is happening? Integrating pre-trained language encoders into trajectory prediction models for autonomous driving

Ali Keysan, Andreas Look+5 more|arXiv (Cornell University)|Sep 11, 2023

Topic Modeling被引用数 12

ひとこと要約

この論文は事前学習済み言語エンコーダを用いて自動運転の軌道予測のためのテキストベースのシーン記述を処理する先駆けであり、テキストと画像エンコーダは補完的で有益な表現を提供し、テキスト+画像のジョイントエンコーダがnuScenesで最良の性能を発揮することを示している。

ABSTRACT

In autonomous driving tasks, scene understanding is the first step towards predicting the future behavior of the surrounding traffic participants. Yet, how to represent a given scene and extract its features are still open research questions. In this study, we propose a novel text-based representation of traffic scenes and process it with a pre-trained language encoder. First, we show that text-based representations, combined with classical rasterized image representations, lead to descriptive scene embeddings. Second, we benchmark our predictions on the nuScenes dataset and show significant improvements compared to baselines. Third, we show in an ablation study that a joint encoder of text and rasterized images outperforms the individual encoders confirming that both representations have their complementary strengths.

研究の動機と目的

• テキストベースの表現を自動運転の軌道予測に統合してシーン理解を強化する動機づけ。
• ターゲットエージェントの状態、履歴、および車線情報を捉えるテキストベースのシーン表現を提案する。
• 軌道予測におけるテキストエンコーダと従来の画像ベースエンコーダを比較する。
• ジョイントのテキスト+画像エンコードが単一モーダルエンコーダより予測精度を向上させるかを調査する。
• 言語モデルがADタスクに意味のあるシーン表現を寄与できることの概念実証を提供する。

提案手法

• 軌道予測のバックボーンとしてCoverNetに基づくエンコーダ-デコーダアーキテクチャを使用する。
• 3つの入力モダリティを実装する：画像エンコーダ（ResNet BEiT系）、テキストエンコーダ（DistilBERT）、テキストと画像の埋め込みを連結するジョインエンコーダ。
• エージェントの状態、履歴、車線ジオメトリを説明するテキストプロンプトとラスタ化画像でシーンを表現する。
• 車線情報を言語モデルの文脈長に合わせて離散的ポリラインまたは3次ベジエ曲線としてエンコードする。
• 事前学習済みエンコーダをnuScenesのトレーニングセットでファインチューニングし、ジョインモデルではエンコーダを凍結、デコーダを軌道分類用に固定する。
• nuScenesの標準指標で評価する：minADE_k、minFDE_k、MissRate_k（kは1,5,10のいずれか）。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語エンコーダを介したテキストベースのシーン表現は自動運転タスクで有効な軌道予測を提供し得るか。
• RQ2 テキストと画像エンコーダは補完的な強みを提供し、ジョイントエンコーダで活用できるか。
• RQ3 ベジェ曲線車線エンコードは言語モデルを促す際に離散化車線表現と比較してどうか。
• RQ4 エンコーダを凍結 vs ファインチューニングすることが、単一モーダルおよび多モーダル設定にどのような影響を与えるか。
• RQ5 ジョイントのテキスト+画像エンコーダはnuScenesで単一モーダルの counterparts を上回るか。

主な発見

• テキストエンコーダ単独でも画像エンコーダと比較して競合的な軌道予測を提供できる。
• ベジェプロンプトは文脈長の制約のため離散化プロンプトより優れており、切り捨てを回避する。
• ジョイントの画像+テキストエンコーダは最高の性能を発揮し、単一モーダルのベースラインやCoverNetの要約ベースラインを上回る。
• BEiT-Bを画像バックボーンとすると、このタスクでは一般的にResNetバックボーンより改善する。
• DistilBERTベースのテキストエンコーダは欠損率（miss-rate）で強力な性能を示し、BEiTベースの画像エンコーダは平均および最終変位指標で卓越する。
• モダリティを組み合わせるジョイントモデルはテキストと画像表現の補完的強みを活用する。