[논문 리뷰] Radar Camera Fusion via Representation Learning in Autonomous Driving

Dong Xu, Binnan Zhuang외 2명|arXiv (Cornell University)|2021. 03. 14.

Advanced Neural Network Applications참고 문헌 30인용 수 7

한 줄 요약

이 논문은 자율주행에서 레이더-카메라 융합을 위한 딥 표현 학습 프레임워크인 AssociationNet을 제안하며, 룰 기반 방법보다 F1 스코어에서 11.6% 향상된다. 레이더 핀과 2D 경계상자에서 생성된 가짜 이미지, 손실 샘플링 메커니즘, 순서 손실을 결합하여 LiDAR 기반 지도 데이터가 없는 상황에서도 강력하고 종단간 데이터 연동이 가능한 방법을 제공한다.

ABSTRACT

Radars and cameras are mature, cost-effective, and robust sensors and have been widely used in the perception stack of mass-produced autonomous driving systems. Due to their complementary properties, outputs from radar detection (radar pins) and camera perception (2D bounding boxes) are usually fused to generate the best perception results. The key to successful radar-camera fusion is the accurate data association. The challenges in the radar-camera association can be attributed to the complexity of driving scenes, the noisy and sparse nature of radar measurements, and the depth ambiguity from 2D bounding boxes. Traditional rule-based association methods are susceptible to performance degradation in challenging scenarios and failure in corner cases. In this study, we propose to address radar-camera association via deep representation learning, to explore feature-level interaction and global reasoning. Additionally, we design a loss sampling mechanism and an innovative ordinal loss to overcome the difficulty of imperfect labeling and to enforce critical human-like reasoning. Despite being trained with noisy labels generated by a rule-based algorithm, our proposed method achieves a performance of 92.2% F1 score, which is 11.6% higher than the rule-based teacher. Moreover, this data-driven method also lends itself to continuous improvement via corner case mining.

연구 동기 및 목표

• 복잡하거나 드문 시나리오에서 전통적인 룰 기반 방법이 실패하는 자율주행에서의 레이더-카메라 데이터 연동 문제를 해결한다.
• 비용이 많이 드는 LiDAR 기반 지도 데이터 주석에 의존하지 않는 확장성 있고 저비용의 인식 솔루션을 개발한다.
• 룰 기반 연동 알고리즘으로부터 유도된 노이즈가 많고 완전하지 않은 레이블의 한계를 극복하기 위해 강력한 딥 러닝 학습 전략을 적용한다.
• 학습된 표현 프레임워크를 통해 레이더와 카메라 모odal 간의 글로벌 추론과 특징 수준의 상호작용을 가능하게 한다.
• 코너 케이스 마이닝을 통해 지속적인 향상을 지원하는 학습 파이프라인을 설계한다. 이는 불완전한 지도 데이터 조건에서도 가능하다.

제안 방법

• 레이더 핀과 2D 경계상자를 카메라 이미지 평면에 투영하고, RGB 이미지와 특징을 연결하여 가짜 이미지를 생성한다.
• 생성된 가짜 이미지를 컨volutional 신경망(CNN)에 입력하여 객체 수준의 연동을 위한 고수준 의미적 표현을 학습한다.
• 학습 중에 노이즈가 많은 레이블의 영향을 줄이기 위해 양성 및 음성 쌍의 균형을 맞추는 손실 샘플링 메커니즘을 사용한다.
• 인간과 유사한 추론을 구현하기 위해 매칭된 쌍과 매칭되지 않은 쌍 간의 상대적 신뢰도를 모델링하는 새로운 순서 손실을 도입한다.
• 룰 기반 알고리즘으로 생성된 레이블을 사용하여 종단간 학습을 수행함으로써, LiDAR가 없는 실차량 풍경에 바로 적용할 수 있도록 한다.
• 최종 CNN 레이어의 특징 맵을 통해 글로벌 컨텍스트를 활용하여 국소적 거리 측정 기반을 초월한 시나리오 기반 추론을 가능하게 한다.

Figure 1 : An illustration of the associations between radar detections (radar pins) and camera detections (2D bounding boxes). The context of the scene is illustrated in the top picture, with the image captured by the camera along with the detected bounding boxes and the projected radar pins (shown

실험 결과

연구 질문

• RQ1 노이즈가 많고 흐린 레이더 데이터를 가진 복잡한 주행 시나리오에서 딥 표현 학습 접근법이 룰 기반 레이더-카메라 연동보다 우월한가?
• RQ2 룰 기반 연동에서 유도된 불완전한 레이블의 영향을 줄이기 위해 손실 샘플링 메커니즘이 얼마나 효과적인가?
• RQ3 순서 손실이 학습 과정에 중요한 추론 논리를 통합함으로써 모델 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 LiDAR 기반 지도 데이터에 의존하지 않는 학습 기반 융합 프레임워크가 대량 생산 가능한 자율주행 시스템에 대해 높은 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 기존 히وري스틱 방법에 비해 코너 케이스와 드문 시나리오를 어떻게 다루는가?

주요 결과

• AssociationNet은 테스트 세트에서 92.2%의 F1 스코어를 기록하여, 룰 기반 지도 방법(80.6% F1)보다 11.6% 향상되었다.
• 1:1 양성 대 음성 쌍 비율을 가진 손실 샘플링 메커니즘은 샘플링 없이 대비해 F1 스코어를 1.1% 향상시켰다.
• 최적의 가중치 2.0를 가진 순서 손실은 순서 지도 없이 기준 모델 대비 F1 스코어를 1.8% 향상시켰다.
• 모델은 높은 차량 수와 대형 차량이 많은 복잡한 상황에서도 강건성을 보이며, 객체를 정확히 연동하였다.
• 룰 기반 시스템에서 유도된 노이즈가 많은 레이블로 훈련되었음에도 불구하고, AssociationNet은 지도 모델보다 더 우수한 일반화 능력을 보였으며, 특히 재현율이 73.6%에서 93.9%로 향상되었다.
• 시각화 결과, 모델은 복잡한 환경에서 먼 곳에 있거나 가림을 입은 차량을 정확히 연동하는 것으로 나타났지만, 소형 객체나 가림 현상은 여전히 일부 오류를 유발하였다.

Figure 2 : An overview of AssociationNet. Process a illustrates how the radar pins and 2D bounding boxes are first projected into the camera image plane and then produce a pseudo-image. Process b illustrates how the final pseudo-image is composed by concatenating all the features of radar pins, boun