[논문 리뷰] HOPE: Hierarchical Spatial-temporal Network for Occupancy Flow Prediction

Yihan Hu, Wenxin Shao외 7명|arXiv (Cornell University)|2022. 06. 21.

Topic Modeling인용 수 8

한 줄 요약

HOPE는 2D 및 3D 다중 척도 인코더, 잠재변수 기반 향상된 어그리게이터, 그리고 순환 3D 디코더를 통합한 계층적 공간-시간 네트워크를 제안하여 향후 점유도 및 유량 필드를 동시에 예측한다. 이는 Waymo Open Dataset CVPR 2022 도전대회에서 유량 기반 점유도 AUC 0.8389를 기록하여 최고 점수를 달성하였다.

ABSTRACT

In this report, we introduce our solution to the Occupancy and Flow Prediction challenge in the Waymo Open Dataset Challenges at CVPR 2022, which ranks 1st on the leaderboard. We have developed a novel hierarchical spatial-temporal network featured with spatial-temporal encoders, a multi-scale aggregator enriched with latent variables, and a recursive hierarchical 3D decoder. We use multiple losses including focal loss and modified flow trace loss to efficiently guide the training process. Our method achieves a Flow-Grounded Occupancy AUC of 0.8389 and outperforms all the other teams on the leaderboard.

연구 동기 및 목표

• 운동 예측에서 궤적 기반 및 점유도 전용 표현 방식의 한계를 해결하기 위해 점유도 및 유량 필드를 동시에 예측한다.
• 통합된 공간-시간 모델링 프레임워크를 통해 장기 예측에서 정확도와 시간적 일관성을 향상시킨다.
• 동적 및 정적 환경 요소(예: 에이전트 속성, 지ap 특징 포함)의 다중 척도 융합을 통해 특징 표현을 향상시킨다.
• 포지티브-네거티브 불균형 문제를 해결하고 예측 정확도를 향상시키기 위해 포칼 손실과 수정된 유량 추踪 손실을 사용하여 학습 수렴성과 강건성을 최적화한다.
• 모델 앙상블, SWA, 테스트 시 증강 기법을 활용하여 Waymo Open Dataset 점유도 및 유량 예측 도전대회에서 최신 기술 성능을 달성한다.

제안 방법

• 레이스터라이제이션된 베이비의 눈금 시각 입력에서 다중 척도 공간-시간 특징을 추출하기 위해 2D CNN 인코더(RegNetX-32GF), SwinTransformer 인코더, 희소 3D ST3D 인코더를 활용한다.
• 각 척도에서 다중 인코더의 특징을 잠재변수를 통한 강화된 특징 어그리게이터를 사용하여 융합하여 불확실성 모델링과 일반화 능력 향상을 도모한다.
• 8개의 향후 시간 단계에 걸쳐 단계별로 점유도 및 유량 필드를 예측하는 계층적 3D 순환 디코더를 구현하여 시간적 일관성을 향상시킨다.
• 11개의 과거 및 현재 프레임을 조합한 하이브리드 입력 표현 방식을 사용하며, 동적 특징(점유도 및 에이전트 속성)과 정적 지도 특징(29채널, 이후 3채널로 감소)을 80m×80m BEV 격자로 레이스터라이제이션한다.
• 클래스 불균형 문제를 해결하고 유량 필드 예측 정확도를 향상시키기 위해 포칼 손실과 수정된 유량 추적 손실을 통합한다.
• 추론 성능 향상을 위해 테스트 시 증강(TTA), 확률적 가중치 평균화(SWA), 모델 앙상블 기법을 적용한다.

실험 결과

연구 질문

• RQ1 계층적 공간-시간 아키텍처는 자율주행 환경에서 장거리 시간 의존성과 공간 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 특징 어그리게이터에 잠재변수를 통합함으로써 점유도 및 유량 예측의 강건성과 예측 품질은 어떻게 향상되는가?
• RQ3 다중 척도 특징 융합과 순환 디코딩은 향후 운동 예측에서 시간적 일관성을 얼마나 향상시키는가?
• RQ4 수정된 손실 함수(포칼 손실 및 유량 추적 손실)는 긴 꼬리 예측 작업에서 학습 효율성과 성능을 어떻게 향상시키는가?
• RQ5 다중 인코더 융합(CNN, Transformer, ST3D)과 앙상블 기법은 점유도 및 유량 예측에서 전체 성능에 어떤 기여를 하는가?

주요 결과

• HOPE는 Waymo Open Dataset CVPR 2022 도전대회 랭킹에서 최고 점수인 0.8389의 유량 기반 점유도 AUC를 기록하였다.
• 절단 실험을 통해 포칼 손실과 유량 추적 손실을 동시에 적용할 경우 기준 모델 대비 0.053 증가한 유량 기반 점유도 AUC와 소프트-IoU 향상을 확인하였다.
• 에이전트 속성과 상세 지도 특징(28채널)을 추가한 결과, 점유도만 사용한 경우 대비 0.025 증가한 유량 기반 점유도 AUC를 기록하였다.
• 어그리게이터에 잠재변수를 통합함으로써 소프트-IoU 및 관측 AUC 지표는 약간 향상되었지만, 유량 기반 점유도 AUC에서는 약간의 성능 저하가 발생하였다.
• 순환 3D 디코더가 종단 간 디코딩보다 우수한 성능을 보였으며, 시간 모델링 능력 향상으로 인해 0.015 증가한 유량 기반 점유도 AUC를 기록하였다.
• SwinTransformer 및 ST3D 인코더를 모두 융합한 결과 단일 인코더 기반 모델 대비 성능 향상을 확인하였고, 모델 앙상블을 통해 최종 점수가 0.8389로 향상되었다.