[论文解读] HOPE: Hierarchical Spatial-temporal Network for Occupancy Flow Prediction

Yihan Hu, Wenxin Shao+7 more|arXiv (Cornell University)|Jun 21, 2022

Topic Modeling被引用 8

一句话总结

HOPE 提出了一种用于占据流预测的层次化时空网络，通过整合多尺度 2D 和 3D 编码器、潜在变量增强的聚合器以及递归 3D 解码器，联合预测未来的占据状态与流场。其在 Waymo 开放数据集 CVPR 2022 挑战赛中取得了 0.8389 的 Flow-Grounded Occupancy AUC，为最高分。

ABSTRACT

In this report, we introduce our solution to the Occupancy and Flow Prediction challenge in the Waymo Open Dataset Challenges at CVPR 2022, which ranks 1st on the leaderboard. We have developed a novel hierarchical spatial-temporal network featured with spatial-temporal encoders, a multi-scale aggregator enriched with latent variables, and a recursive hierarchical 3D decoder. We use multiple losses including focal loss and modified flow trace loss to efficiently guide the training process. Our method achieves a Flow-Grounded Occupancy AUC of 0.8389 and outperforms all the other teams on the leaderboard.

研究动机与目标

• 通过联合预测占据状态与流场，解决基于轨迹和仅占据状态表示在运动预测中的局限性。
• 通过统一的时空建模框架，提升长时程运动预测中的预测精度与时间一致性。
• 通过融合动态与静态场景元素（包括智能体属性与地图特征）的多尺度表示，增强特征表征能力。
• 通过焦点损失和改进的流迹损失，优化训练收敛性与鲁棒性。
• 通过模型集成、SWA 和推理时增强技术，在 Waymo 开放数据集占据与流预测挑战赛中实现最先进性能。

提出的方法

• 采用 2D CNN 编码器（RegNetX-32GF）、SwinTransformer 编码器以及稀疏 3D ST3D 编码器，从光栅化的鸟瞰图输入中提取多尺度时空特征。
• 在每个尺度上，利用引入潜在变量的多尺度聚合器，融合来自多个编码器的特征，以建模不确定性并提升泛化能力。
• 实现一种分层的 3D 递归解码器，分 8 个未来时间步逐步预测未来占据状态与流场，增强时间一致性。
• 采用混合输入表示，结合 11 个过去与当前帧，将动态特征（占据状态与智能体属性）和静态地图特征（29 个通道，后缩减至 3 个）光栅化为 80m×80m 的 BEV 网格。
• 集成焦点损失与改进的流迹损失，以缓解类别不平衡问题并提升流场预测精度。
• 应用推理时增强（TTA）、随机权重平均（SWA）与模型集成技术，进一步提升推理性能。

实验结果

研究问题

• RQ1 层次化时空架构能否有效建模自动驾驶场景中的长程时间依赖与空间交互？
• RQ2 在特征聚合器中引入潜在变量，如何提升占据与流预测的鲁棒性与预测质量？
• RQ3 多尺度特征融合与递归解码在多大程度上增强了未来运动预测的时间一致性？
• RQ4 改进的损失函数（焦点损失与流迹损失）在长尾预测任务中如何提升学习效率与性能？
• RQ5 多编码器融合（CNN、Transformer、ST3D）与集成技术对占据与流预测整体性能的贡献如何？

主要发现

• HOPE 在 Waymo 开放数据集 CVPR 2022 挑战赛排行榜上取得了 0.8389 的 Flow-Grounded Occupancy AUC，为最高分。
• 消融实验证实，结合焦点损失与流迹损失显著提升了 Flow-Grounded Occupancy AUC 与软 IoU，较基线提升 0.053。
• 与仅使用占据状态相比，添加智能体属性与详细地图特征（28 个通道）使 Flow-Grounded Occupancy AUC 提升 0.025。
• 在聚合器中引入潜在变量略微提升了软 IoU 与 Observed AUC 指标，尽管在 Flow-Grounded AUC 上存在轻微损失。
• 递归 3D 解码器优于端到端解码，由于更优的时间建模，使 Flow-Grounded Occupancy AUC 提升 0.015。
• 融合 SwinTransformer 与 ST3D 编码器的性能优于单编码器基线，且通过模型集成进一步将最终得分提升至 0.8389。