[論文レビュー] HOPE: Hierarchical Spatial-temporal Network for Occupancy Flow Prediction

Yihan Hu, Wenxin Shao+7 more|arXiv (Cornell University)|Jun 21, 2022

Topic Modeling被引用数 8

ひとこと要約

HOPEは、マルチスケール2Dおよび3Dエンコーダー、潜在変数を用いた強化型アグレゲーター、再帰的3Dデコーダーを統合した階層的空間時系列ネットワークを提案し、将来の占有状態とフロー場を同時に予測する。Waymo Open Dataset CVPR 2022チャレンジで、0.8389のFlow-Grounded Occupancy AUCを達成し、最高スコアを記録した。

ABSTRACT

In this report, we introduce our solution to the Occupancy and Flow Prediction challenge in the Waymo Open Dataset Challenges at CVPR 2022, which ranks 1st on the leaderboard. We have developed a novel hierarchical spatial-temporal network featured with spatial-temporal encoders, a multi-scale aggregator enriched with latent variables, and a recursive hierarchical 3D decoder. We use multiple losses including focal loss and modified flow trace loss to efficiently guide the training process. Our method achieves a Flow-Grounded Occupancy AUC of 0.8389 and outperforms all the other teams on the leaderboard.

研究の動機と目的

• トラジェクトリーベースおよび占有状態のみの表現の限界を解消するため、占有状態とフロー場を同時に予測すること。
• 統一された空間時系列モデリングフレームワークを用いて、長時間予測における予測精度と時間的整合性を向上させること。
• エージェント属性とマップ特徴を含む動的・静的シーン要因のマルチスケール特徴統合により、特徴表現を強化すること。
• ファーカス損失と改変されたフローレイアウト損失を用いて、学習の収束性とロバスト性を最適化すること。
• モデルアンサンブル、SWA、テスト時増強を用いて、Waymo Open Dataset 占有状態とフロー予測チャレンジで最先端の性能を達成すること。

提案手法

• ラスタライズド・ビューアイ・ビュー入力をもとに、マルチスケールの空間時系列特徴を抽出するため、2D CNNエンコーダー（RegNetX-32GF）、SwinTransformerエンコーダー、スパース3D ST3Dエンコーダーを採用する。
• 各スケールで複数のエンコーダーからの特徴を、潜在変数を用いて強化したマルチスケールアグレゲーターで統合し、不確実性をモデル化し一般化性能を向上させる。
• 8つの将来時刻ステップにわたり、段階的に占有状態とフロー場を予測する階層的3D再帰的デコーダーを実装し、時間的整合性を強化する。
• 11の過去および現在のフレームを組み合わせたハイブリッド入力表現を採用し、動的特徴（占有状態とエージェント属性）と静的マップ特徴（29チャンネル、後に3に削減）を80m×80mのBEVグリッドにラスタライズする。
• クラスの不均衡とフローフィールド予測精度の向上のため、ファーカス損失と改変されたフローレイアウト損失を統合する。
• さらに推論性能を向上させるために、テスト時増強（TTA）、確率的重み平均化（SWA）、モデルアンサンブルを適用する。

実験結果

リサーチクエスチョン

• RQ1 階層的空間時系列アーキテクチャは、自動運転シーンにおける長距離の時間的依存性と空間的相互作用を効果的にモデル化できるか？
• RQ2 特徴アグレゲーターに潜在変数を組み込むことで、占有状態とフロー予測のロバスト性と予測品質はどのように向上するか？
• RQ3 マルチスケール特徴統合と再帰的デコーディングは、将来の運動予測における時間的整合性をどの程度向上させるか？
• RQ4 ファーカス損失とフローレイアウト損失の改変版は、長尾予測タスクにおける学習効率と性能をどの程度向上させるか？
• RQ5 CNN、Transformer、ST3Dのマルチエンコーダー統合とアンサンブル技術は、占有状態とフロー予測全体の性能にどの程度寄与するか？

主な発見

• HOPEは、Waymo Open Dataset CVPR 2022チャレンジのリーダーボードで、最高スコアの0.8389を記録したFlow-Grounded Occupancy AUCを達成した。
• アブレーションスタディの結果、ファーカス損失とフローレイアウト損失を併用することで、Flow-Grounded Occupancy AUCとソフトIoUが顕著に向上し、ベースライン比で0.053の上昇を示した。
• エージェント属性と詳細なマップ特徴（28チャンネル）を追加したことで、占有状態のみを使用した場合と比較して、Flow-Grounded Occupancy AUCが0.025向上した。
• アグレゲーターに潜在変数を組み込むことで、ソフトIoUとObserved AUCの指標がわずかに向上したが、Flow-Grounded AUCにわずかなトレードオフが生じた。
• 再帰的3Dデコーダーは、エンドツーエンドのデコーディングを上回り、時間的モデリングの向上により、Flow-Grounded Occupancy AUCが0.015上昇した。
• SwinTransformerとST3Dエンコーダーの両方を統合することで、単一エンコーダーベースラインを上回る性能を達成し、モデルアンサンブルにより最終スコアが0.8389まで向上した。