[논문 리뷰] LaRa: Latents and Rays for Multi-Camera Bird's-Eye-View Semantic Segmentation

Florent Bartoccioni, Éloi Zablocki외 4명|arXiv (Cornell University)|2022. 06. 27.

Advanced Neural Network Applications참고 문헌 37인용 수 5

한 줄 요약

LaRa는 기하학적 가이던스를 위해 레이 임베딩을 사용하고, 오차가 발생하기 쉬운 깊이 추정이나 밀도 높은 2D에서 BEV로의 매핑을 피하는, 다중 카메라 비율의 Bird's-Eye-View (BEV) 세분화를 위한 새로운 트랜스포머 기반 인코더-디코더 모델을 제안한다. 이는 교차 어텐션을 통해 특징을 압축된 잠재 벡터 집합으로 융합한 후, 두 번째 교차 어텐션을 통해 해상도가 높은 BEV 맵을 재구성한다. 이는 nuScenes에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent works in autonomous driving have widely adopted the bird's-eye-view (BEV) semantic map as an intermediate representation of the world. Online prediction of these BEV maps involves non-trivial operations such as multi-camera data extraction as well as fusion and projection into a common topview grid. This is usually done with error-prone geometric operations (e.g., homography or back-projection from monocular depth estimation) or expensive direct dense mapping between image pixels and pixels in BEV (e.g., with MLP or attention). In this work, we present 'LaRa', an efficient encoder-decoder, transformer-based model for vehicle semantic segmentation from multiple cameras. Our approach uses a system of cross-attention to aggregate information over multiple sensors into a compact, yet rich, collection of latent representations. These latent representations, after being processed by a series of self-attention blocks, are then reprojected with a second cross-attention in the BEV space. We demonstrate that our model outperforms the best previous works using transformers on nuScenes. The code and trained models are available at https://github.com/valeoai/LaRa

연구 동기 및 목표

• 밀도 높은 2D에서 BEV로의 매핑이나 깊이 추정에 의존하는 기존 BEV 세분화 방법의 계산 및 기하학적 비효율성을 해결하기 위해.
• 입력 및 출력 해상도에서 처리를 분리함으로써 모델의 메모리 및 계산량을 정밀하게 제어할 수 있도록 하기 위해.
• 어텐션 메커니즘에 레이 임베딩을 통한 기하학적 사전 지식을 통합하여 다중 시야 융합을 향상시키기 위해.
• 비용이 많이 드는 업샘플링이나 오류가 발생하기 쉬운 기하학적 투영 없이도 고해상도 BEV 예측을 달성하기 위해.
• 잠재 기반 어텐션 메커니즘이 명시적 기하학적 지도 없이도 다수의 카메라 시야를 자연스럽게 연결하고 강한 공간 일관성을 유지할 수 있도록 하기 위해.

제안 방법

• 모델은 다중 카메라 이미지 특징을 추출하기 위해 공유된 CNN을 사용하며, 이 특징들은 카메라 캘리브레이션 파라미터에서 유도된 레이 임베딩과 결합되어 기하학적 관계를 인코딩한다.
• 이미지 특징과 학습 가능한 256개의 잠재 벡터 집합 사이에 교차 어텐션을 적용하여 다중 시야 정보를 압축된 고수준 표현으로 융합한다.
• 잠재 표현은 L개의 자체 어텐션 블록을 거쳐 다중 시야 간 및 내부 시야 관계를 정교화한다.
• 두 번째 교차 어텐션을 통해 정제된 잠재 벡터를 BEV 격자 위치에 정렬된 쿼리들을 사용하여 전체 해상도의 BEV 공간으로 다시 투영한다.
• 최종 BEV 맵은 국소화 및 경계 정확도를 향상시키기 위해 경량 CNN 헤드를 통해 정밀 조정된다.
• 레이 임베딩은 이미지 픽셀과 BEV 격자 셀 간의 방향성 및 공간적 관계를 인코딩하여, 다중 시야 간 어텐션을 이끌어내는 데 기여한다.

실험 결과

연구 질문

• RQ1 밀도 높은 2D에서 BEV로의 특징 매핑을 대체할 수 있는 압축된 잠재 표현은 세분화 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 레이 임베딩을 통한 기하학적 사전 지식의 통합은 BEV 세분화에서의 다중 카메라 융합에 어떤 영향을 미치는가?
• RQ3 잠재 벡터를 사용한 교차 어텐션 메커니즘은 명시적 기하학적 지도 없이도 다수의 카메라 시야를 자연스럽게 연결할 수 있는가?
• RQ4 깊이 추정을 제거함으로써 도전적인 조건에서 BEV 예측의 정확도와 강건성은 향상되는가?
• RQ5 잠재 벡터의 수와 어텐션 헤드의 수는 장거리 및 다방향 장면 구조를 인지하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• LaRa는 차량 세분화에 있어 nuScenes 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, CVT 및 Lift-Splat와 같은 이전의 트랜스포머 기반 모델을 능가한다.
• 장거리 및 가림 영역에서도 높은 정확도를 유지하며, Lift-Splat보다 더 나은 경계 국소화 성능과 모든 가시성 수준에서 훈련된 모델보다 더 적은 환각 현상을 보였다.
• 어텐션 시각화 결과는 모델이 카메라 시야 간에 연속적이고 방향성 있는 어텐션을 학습하고 있음을 확인하였으며, 한 헤드는 약 90°의 시야에 집중하고, 헤드 평균 어텐션은 장면의 절반을 커버한다.
• 레이 임베딩은 기하학적 대응 관계에 따라 어텐션 맵이 정렬됨으로써 다중 시야 융합에 상당한 기여를 했다.
• 잠재 처리를 BEV 해상도에서 분리함으로써 계산 오버헤드가 최소화되어도 강력한 성능 유지를 유지한다.
• 제거 실험 결과, 잠재 벡터의 수와 레이 임베딩의 사용이 최적 성능을 내기 위해 필수적임을 확인하였으며, 레이 임베딩 제거 시 mIoU가 2.1% 감소하였다.