[논문 리뷰] HFT: Lifting Perspective Representations via Hybrid Feature Transformation

Jiayu Zou, Junrui Xiao외 5명|arXiv (Cornell University)|2022. 04. 11.

Advanced Image and Video Retrieval Techniques인용 수 10

한 줄 요약

이 논문은 단일 영상에서 Bird's Eye View (BEV) 세분화 성능을 향상시키기 위해 카메라 모델의 기하학적 사전 지식과 어텐션 메커니즘을 통한 전역적 맥락 모델링을 융합한 하이브리드 특징 변환 프레임워크인 HFT를 제안한다. 특징 맵을 분리하고 기하학적 트랜스포머와 전역 트랜스포머 간 상호 학습을 통해 HFT는 Argoverse 및 KITTI 3D Object 데이터셋에서 각각 13.3%와 16.8%의 상대적 mIoU 향상을 달성하며, 계산 오버헤드는 최소한으로 유지한다.

ABSTRACT

Autonomous driving requires accurate and detailed Bird's Eye View (BEV) semantic segmentation for decision making, which is one of the most challenging tasks for high-level scene perception. Feature transformation from frontal view to BEV is the pivotal technology for BEV semantic segmentation. Existing works can be roughly classified into two categories, i.e., Camera model-Based Feature Transformation (CBFT) and Camera model-Free Feature Transformation (CFFT). In this paper, we empirically analyze the vital differences between CBFT and CFFT. The former transforms features based on the flat-world assumption, which may cause distortion of regions lying above the ground plane. The latter is limited in the segmentation performance due to the absence of geometric priors and time-consuming computation. In order to reap the benefits and avoid the drawbacks of CBFT and CFFT, we propose a novel framework with a Hybrid Feature Transformation module (HFT). Specifically, we decouple the feature maps produced by HFT for estimating the layout of outdoor scenes in BEV. Furthermore, we design a mutual learning scheme to augment hybrid transformation by applying feature mimicking. Notably, extensive experiments demonstrate that with negligible extra overhead, HFT achieves a relative improvement of 13.3% on the Argoverse dataset and 16.8% on the KITTI 3D Object datasets compared to the best-performing existing method. The codes are available at https://github.com/JiayuZou2020/HFT.

연구 동기 및 목표

• BEV 세분화에서 기존의 카메라 모델 기반(CBFT) 및 카메라 모델 무관(CFFT) 특징 변환 방법의 한계를 해결하기 위해.
• 시점에서 BEV로의 특징 업샘플링 과정에서 기하학적 사전 지식(CBFT)과 전역 공간 상관관계(CFFT) 간의 상호 상충 관계를 분석하기 위해.
• CBFT와 CFFT의 장점을 살리고 각각의 단점을 보완하는 하이브리드 프레임워크를 개발하기 위해.
• 불균형 지형, 오르막/내리막 경사, 그리고 농도 높은 도심 환경과 같은 도전적인 환경에서 BEV 세분화 정확도를 향상시키기 위해.
• 실시간 자율 주행 응용에 적합한 낮은 계산 오버헤드를 유지하면서 높은 성능을 달성하기 위해.

제안 방법

• HFT는 이중 브랜치 아키텍처를 도입한다: 기하학적 트랜스포머는 IPM 스타일 레이어를 사용하여 카메라 파라미터와 기하학적 사전 지식을 활용해 초기 단계에서 BEV 특징을 추정한다.
• 전역 트랜스포머 브랜치는 MLP나 어텐션 메커니즘을 사용하여 기하학적 가정 없이 장거리 공간적 의존성을 모델링한다.
• 두 브랜치는 특징 변환 과정에서 분리되어 시나리오 레이아웃의 서로 다른 측면에 대해 전문화된 학습이 가능하다.
• 지식 정착을 통해 특징 표현을 향상시키기 위해, 두 브랜치 간에 상호 학습을 L2 손실 함수(최적의 성능 기록)를 통해 적용한다.
• 프레임워크는 BEV 참조 애노테이션을 기반으로 한 supervision 하에 단일 RGB 영상에서 엔드 투 엔드로 훈련된다.
• 표준 mIoU 메트릭스를 사용해 nuScenes, Argoverse, KITTI 등 다섯 가지 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 CBFT의 기하학적 사전 지식과 CFFT의 전역 공간 상관관계가 BEV 세분화 성능에 어떤 영향을 미치는가?
• RQ2 CBFT와 CFFT 요소를 모두 포함하는 하이브리드 아키텍처가 기존 최고 수준의 방법을 초월할 수 있는가?
• RQ3 기하학적 트랜스포머와 전역 트랜스포머 간의 상호 학습이 특징 표현과 세분화 정확도를 향상시키는가?
• RQ4 CBFT에 비해 HFT는 지면 평면 위 영역에서 왜곡을 얼마나 줄이는가?
• RQ5 HFT는 실시간 배포에 적합한 낮은 계산 비용을 유지하면서도 높은 정확도를 유지를 할 수 있는가?

주요 결과

• HFT는 Argoverse 데이터셋에서 기존 최고 수준의 방법보다 13.3%의 상대적 mIoU 향상을 달성한다.
• KITTI 3D Object 데이터셋에서 HFT는 최고 수준의 방법 대비 16.8%의 상대적 mIoU 향상을 기록한다.
• L2 손실 함수가 상호 학습에서 최고의 성능을 보였으며, nuScenes에서 21.3%의 mIoU를 기록하여 기준선 대비 10.4%의 상대적 향상을 달성했다.
• HFT는 특히 도심 교차로나 불균형 지형과 같은 농도 높은 복잡한 환경에서 객체 경계가 훨씬 명확하게 출력된다.
• HFT는 CBFT가 왜곡을 야기하는 오르막/내리막 경사나 고도가 높은 구조물과 같은 도전적인 상황을 효과적으로 처리한다. 이는 CFFT가 기하학적 인도적 편향을 결여하고 있기 때문이다.
• HFT는 낮은 계산 오버헤드를 유지하면서도 높은 효율성을 확보하여 실시간 자율 주행 인식에 적합하다.