[論文レビュー] VectorFlow: Combining Images and Vectors for Traffic Occupancy and Flow Prediction

Xin Huang, Xiao Yu Tian+3 more|arXiv (Cornell University)|Aug 9, 2022

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

この論文では、クロスアテンションメカニズムを用いてラスタライズド画像とベクタライズドトラジェクトリーやマップ表現を統合する、新しい占有状態およびフロー予測モデルであるVectorFlowを提案する。VGG-16とVectorNetエンコーダーを組み合わせ、マルチステージの特徴抽出を実施することで、遮蔽された占有状態およびフロー予測において最先端の性能を達成し、Waymo Open Datasetチャレンジで遮蔽メトリクスにおいて顕著な向上を示し、3位にランクインした。

ABSTRACT

Predicting future behaviors of road agents is a key task in autonomous driving. While existing models have demonstrated great success in predicting marginal agent future behaviors, it remains a challenge to efficiently predict consistent joint behaviors of multiple agents. Recently, the occupancy flow fields representation was proposed to represent joint future states of road agents through a combination of occupancy grid and flow, which supports efficient and consistent joint predictions. In this work, we propose a novel occupancy flow fields predictor to produce accurate occupancy and flow predictions, by combining the power of an image encoder that learns features from a rasterized traffic image and a vector encoder that captures information of continuous agent trajectories and map states. The two encoded features are fused by multiple attention modules before generating final predictions. Our simple but effective model ranks 3rd place on the Waymo Open Dataset Occupancy and Flow Prediction Challenge, and achieves the best performance in the occluded occupancy and flow prediction task.

研究の動機と目的

• 混雑した都市部における複数の道路エージェントの一貫性のある連携行動を効率的に予測する課題に対処すること。
• 交通シーンのラスタライズドおよびベクタライズド表現を統合することで、遮蔽されたエージェントの予測精度を向上させること。
• エージェント数に依存しない、空間的・時間的占有フローフィールドの予測にスケーラブルで効率的なモデルを開発すること。
• 自動運転分野において重要だが、まだ十分に検討されていない遮蔽された占有状態およびフロー予測において、既存手法を上回ること。
• 画像とベクトル表現間のクロスアテンション統合が行動予測に有効であることを実証すること。

提案手法

• モデルは、ラスタライズド画像特徴のためのVGG-16エンコーダーと、ベクタライズドトラジェクトリーやマップ特徴のためのVectorNetエンコーダーを用いる。
• クロスアテンションモジュールが、VGG-16の最後の2段階の特徴マップを複数の空間スケールでベクタライズド特徴と統合する。
• 空間解像度を保持し、マルチスケール統合を可能にするために、FPNスタイルのネットワークで特徴マップをアップサンプリングする。
• 統合された特徴は、2つの3×3畳み込み層を通過し、デコーダー用に128チャネルの特徴マップを出力する。
• 1つの2D畳み込みデコーダーが、8×4出力マップ（8つのウェイポイント × 4次元：占有状態とフロー）を生成する。
• 損失関数は、観測済みおよび遮蔽された占有状態のための交差エントロピー（係数α=β=1000）と、フローパredictionのためのL2損失（γ=1）を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ラスタライズド画像とベクタライズドトラジェクトリーやマップデータを統合することで、複数の道路エージェントの連携行動予測が向上するか？
• RQ2 画像とベクトル表現間のクロスアテンション統合が、遮蔽された占有状態およびフロー予測の性能向上に寄与するか？
• RQ3 Waymo Open Datasetにおけるスケーラビリティおよび精度の観点から、提案手法は最先端の手法と比較してどのように差をつけるか？
• RQ4 特徴統合は、特に遮蔽されたエージェントの予測性能向上にどの程度寄与するか？
• RQ5 複雑なアーキテクチャを用いずに、アテンションベースの統合を備えたシンプルでエンドツーエンドのモデルが、競争力のある結果を達成できるか？

主な発見

• VectorFlowは、Waymo Open Datasetで3つのメトリクスで最高の性能を達成した：遮蔽された占有状態のAUCおよびソフトIoU、および観測済み占有状態のソフトIoU。
• VectorFlowは、Waymo Open Dataset Occupancy and Flow Prediction Challengeで全体で3位にランクインした。
• ベクタライズド表現の追加により、VGGオンリーバリエーションと比較して、遮蔽されたAUCが24.46%向上し、遮蔽されたソフトIoUが47.06%向上した。
• VectorFlowは、遮蔽された占有状態のAUCが0.174、ソフトIoUが0.045を記録し、大多数のベースラインを大きく上回った。
• フロー予測のエンドポイント誤差（EPE）は3.603であり、Look Aroundを除く大多数の競合手法を上回った。
• アブレーションスタディにより、特に困難な遮蔽状況において、ベクタ表現の統合が性能向上に不可欠であることが確認された。