[논문 리뷰] Cross-view Transformers for real-time Map-view Semantic Segmentation

Brady Zhou, Philipp Krähenbühl|arXiv (Cornell University)|2022. 05. 05.

Advanced Image and Video Retrieval Techniques인용 수 11

한 줄 요약

이 논문은 카메라 인식 위치 임베딩을 통해 은닉 기하 구조 매핑을 학습함으로써 다중 카메라 입력에서 지도뷰 세분화를 수행하는 실시간 주목사용 모델인 Cross-View Transformers를 제안한다. 이 방법은 명시적 깊이 추정을 피함으로써 기하학적으로 유연성이 떨어지는 문제를 해결하고, 단일 GPU에서 35 FPS로 추론하면서 nuScenes 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present cross-view transformers, an efficient attention-based model for map-view semantic segmentation from multiple cameras. Our architecture implicitly learns a mapping from individual camera views into a canonical map-view representation using a camera-aware cross-view attention mechanism. Each camera uses positional embeddings that depend on its intrinsic and extrinsic calibration. These embeddings allow a transformer to learn the mapping across different views without ever explicitly modeling it geometrically. The architecture consists of a convolutional image encoder for each view and cross-view transformer layers to infer a map-view semantic segmentation. Our model is simple, easily parallelizable, and runs in real-time. The presented architecture performs at state-of-the-art on the nuScenes dataset, with 4x faster inference speeds. Code is available at https://github.com/bradyz/cross_view_transformers.

연구 동기 및 목표

• 자율주행에서 다중 카메라 시야로부터 견고하고 실시간으로 지도뷰 세분화를 수행하는 문제를 해결하기 위해.
• 오차가 발생하기 쉬우며 기하학적으로 유연성이 떨어지는 명시적 깊이 추정에 의존하지 않기 위해.
• 주목 기반 메커니즘을 통해 카메라 시야 간의 은닉 기하 관계와 기준 지도뷰 간의 관계를 학습하기 위해.
• 기존 방법보다 추론 속도와 정확도를 향상시키면서도 센서 장애 상황에 대비한 견고성을 유지하기 위해.
• 명시적 기하 모델링 없이도 캘리브레이션된 카메라 기하학을 학습된 위치 임베딩을 통해 활용하기 위해.

제안 방법

• 각 카메라 시야에 대해 국소적 특징을 추출하기 위해 컨volutional 이미지 인코더를 사용한다.
• 내부 및 외부 카메라 캘리브레이션 기반으로 카메라 인식 위치 임베딩을 학습하여 기하 관계를 인코딩한다.
• 공통의 지도뷰 위치 임베딩을 사용하여 모든 카메라 특징 간에 다중 헤드 주목을 수행하는 크로스뷰 트랜스포머 레이어를 사용한다.
• 주목 기반 메커니즘이 명시적 기하 투영 없이도 개별 카메라 시야의 특징을 통합된 지도뷰 표현으로 매핑하도록 학습한다.
• 지도뷰 표현을 정교화하기 위해 주목 및 MLP 블록을 다중으로 스택한다.
• 모델은 종단 간에 지도뷰에서의 세분화 손실을 최소화하도록 학습되며, 감독을 통해 깊이 및 기하학적 정보를 은닉적으로 학습한다.

Figure 1 : We introduce an architecture for perception in a map-view frame from multiple views. Our model builds a map-view representation by cross-attending to image features. A camera-aware positional embedding can geometrically link up the camera and map-views.

실험 결과

연구 질문

• RQ1 명시적 기하 모델링이나 깊이 감독 없이도 트랜스포머 기반 아키텍처가 정확한 크로스뷰 특징 매핑을 학습할 수 있는가?
• RQ2 학습된 또는 선형 임베딩과 비교해 카메라 인식 위치 임베딩이 지도뷰 세분화 성능에 어떻게 기여하는가?
• RQ3 센서 장애나 가림 상황에서 모델의 일반화 능력은 어느 정도인가?
• RQ4 자기 차량에서의 거리가 증가함에 따라 성능은 어떻게 저하되는가?
• RQ5 주목 기반 메커니즘이 카메라 시야와 지도뷰 간의 기하 대응 관계를 은닉적으로 학습할 수 있는가?

주요 결과

• 모델은 지도뷰 세분화에서 nuScenes 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정확도와 속도 면에서 이전 방법을 모두 능가한다.
• 단일 RTX 2080 Ti GPU에서 35 FPS로 실행되어 기준 방법 대비 4배 빠른 추론 속도를 확보한다.
• 무작위 푸리에 변환을 사용한 카메라 인식 위치 임베딩이 가장 높은 성능을 보이며, 학습된 또는 선형 임베딩보다 뛰어나다.
• 카메라 장애가 발생할수록 성능 저하가 선형적으로 증가하지만, 가시 영역이 유지되는 한 견고성을 유지한다.
• 가까운 경쟁자인 FIERY보다 더 먼 거리에서의 성능 저하가 느리게 나타나, 먼 거리나 가림된 물체에 대한 일반화 능력이 뛰어나다는 것을 보여준다.
• 시각화 결과는 크로스뷰 주목이 의미 있는 기하 대응 관계를 학습하고 있음을 확인하며, 지도뷰 예측에 관련된 이미지 영역을 명확히 강조한다.

Figure 2 : An overview of our proposed architecture for map-view segmentation. For each image, we extract image features across multiple scales. Using known camera pose and intrinsics, we construct a camera-aware positional embedding. We learn a map-view positional embedding that aggregates informat