[論文レビュー] SVG-Net: An SVG-based Trajectory Prediction Model

Mohammadhossein Bahari, Vahid Zehtab+4 more|arXiv (Cornell University)|Oct 7, 2021

Autonomous Vehicle Technology and Safety参考文献 23被引用数 4

ひとこと要約

SVG-Net は、車両の軌道予測のための標準的で構造を保つ入力フォーマットとしてスケーラブル・ベクターグラフィックス（SVG）の使用を提案する。変換器ベースのエンコーダデコーダネットワークを用いて、シーンの文脈とエージェント間の相互作用をモデル化する。Argoverse データセット上で評価された結果、FDE 3.25、ADE 1.46 を達成し、SOTA の性能を示した。これは、SVG が軌道予測のための汎用的かつ再利用可能な表現として有効であることを示している。

ABSTRACT

Anticipating motions of vehicles in a scene is an essential problem for safe autonomous driving systems. To this end, the comprehension of the scene's infrastructure is often the main clue for predicting future trajectories. Most of the proposed approaches represent the scene with a rasterized format and some of the more recent approaches leverage custom vectorized formats. In contrast, we propose representing the scene's information by employing Scalable Vector Graphics (SVG). SVG is a well-established format that matches the problem of trajectory prediction better than rasterized formats while being more general than arbitrary vectorized formats. SVG has the potential to provide the convenience and generality of raster-based solutions if coupled with a powerful tool such as CNNs, for which we introduce SVG-Net. SVG-Net is a Transformer-based Neural Network that can effectively capture the scene's information from SVG inputs. Thanks to the self-attention mechanism in its Transformers, SVG-Net can also adequately apprehend relations amongst the scene and the agents. We demonstrate SVG-Net's effectiveness by evaluating its performance on the publicly available Argoverse forecasting dataset. Finally, we illustrate how, by using SVG, one can benefit from datasets and advancements in other research fronts that also utilize the same input format. Our code is available at https://vita-epfl.github.io/SVGNet/.

研究の動機と目的

• 軌道予測におけるラスタライズド表現や非標準のベクタ表現の限界を解決すること。
• 自動運転におけるシーン文脈のための標準的で構造を保ち、汎用的なフォーマットとして SVG を提案すること。
• 自己注意機構を用いて SVG 入力を効果的に学習できるニューラルネットワークアーキテクチャ（SVG-Net）を開発すること。
• SVG のような共通の入力フォーマットを採用することで、視覚タスク間での事前学習モデルの知識移行と再利用を可能にすること。
• SVG ベースの表現が、性能と一般化能力の両面で優れていることを実証すること。

提案手法

• 構造的情報を保持する標準化されたベクタフォーマットであるスケーラブル・ベクターグラフィックス（SVG）を用いて、シーン文脈を表現する。
• シーンとエージェント履歴のための別個のエンコーダを備えた、変換器ベースのエンコーダデコーダアーキテクチャとして SVG-Net を設計する。
• シーンエンコーダーを用いて、SVG パスを潜在表現に埋め込むことで、幾何的および空間的文脈を捉える。
• 残差接続付きの MLP を用いて、エージェントの運動履歴を潜在埋め込みに変換する。
• デコーダーで自己注意を適用し、エージェントとシーン要素間の複雑な相互作用をモデル化する。
• 事前学習を SVG-Icons8 データセットで実施した後、微調整を Argoverse 予測データセットで行い、移行性を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準化されたベクタフォーマット（例：SVG）が、ラスタライズド表現や独自のベクタ表現を上回る性能を示せるか？
• RQ2 変換器ベースのモデルが、SVG 入力からシーン文脈とエージェント間相互作用を的確に推論できるか？
• RQ3 SVG データから学習した表現が、下流の軌道予測タスクにどの程度移行可能か？
• RQ4 SVG を入力として用いることで、視覚タスク間での事前学習モデルの一般化と再利用が促進されるか？
• RQ5 SVG-Net は、注視可視化による解釈可能性を維持しながら、競争力ある性能を達成できるか？

主な発見

• SVG-Net は、Argoverse の検証セットで FDE 3.25、ADE 1.46 を達成し、優れた予測性能を示した。
• SVG-Icons8 データセットで事前学習した結果、FDE 3.42、ADE 1.51 の移行モデルが得られ、優れた一般化能力を示した。
• 下流の SVG 画像分類タスクでも、72.2% の精度を達成し、ResNet-18（73.0%）と同等の性能を示した。これは、移行性の高さを示している。
• 注視可視化の定性的な分析から、モデルが関連するシーン要素（例：レーン）や相互作用するエージェントに適切に注目していることが確認された。
• アブレーションスタディの結果、最適な性能を発揮するには、シーンエンコーダーとデコーダー内の相互作用モデリングの両方が重要であることが明らかになった。
• 結果から、SVG は、コンピュータビジョンタスク間での知識共有を可能にする実用的で標準化された入力フォーマットとして有効であると示唆された。