[논문 리뷰] Radar+RGB Attentive Fusion for Robust Object Detection in Autonomous Vehicles

Ritu Yadav, Axel Vierling외 1명|arXiv (Cornell University)|2020. 08. 31.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 자율주행 차량에서 강건한 객체 검출을 위한 RGB-레이다 주의 퓨전 네트워크인 RANet와 BIRANet를 제안한다. 레이다 포인트 클라우드를 백본에서 이른 시기의 특징으로 융합하고, 새로운 '두 중에서 최고의 것' RPN 타겟 생성 방식을 사용하는 레이다 유도 앵커를 통해 BIRANet는 NuScenes에서 평균 AP 72.3%를 달성하며, FPN를 갖춘 Faster R-CNN를 능가한다. 이는 노이즈와 악천후 조건에서도 뛰어난 강건성을 보여준다.

ABSTRACT

This paper presents two variations of architecture referred to as RANet and BIRANet. The proposed architecture aims to use radar signal data along with RGB camera images to form a robust detection network that works efficiently, even in variable lighting and weather conditions such as rain, dust, fog, and others. First, radar information is fused in the feature extractor network. Second, radar points are used to generate guided anchors. Third, a method is proposed to improve region proposal network targets. BIRANet yields 72.3/75.3% average AP/AR on the NuScenes dataset, which is better than the performance of our base network Faster-RCNN with Feature pyramid network(FFPN). RANet gives 69.6/71.9% average AP/AR on the same dataset, which is reasonably acceptable performance. Also, both BIRANet and RANet are evaluated to be robust towards the noise.

연구 동기 및 목표

• 자율주행에서 흔한 악천후 및 저조도 조건에서 단일 모odal 객체 검출기의 한계를 해결한다.
• 레이다(장거리, 기상 조건에 강건함)와 RGB 카메라(고해상도, 의미 정보 풍부함)의 상호보완적 강점을 활용하여 검출 신뢰도를 향상시킨다.
• 레이다 데이터를 특징 향상뿐만 아니라 앵커 생성 유도 및 영역 제안 품질 향상에도 활용하는 융합 프레임워크를 개발한다.
• 고신뢰도 레이다 포인트 데이터를 이용해 검출 감독 및 제안어림 개선을 통해 센서 노이즈 및 환경 악화에 대한 강건성을 향상시킨다.
• 특징 피라미드 네트워크(FPN)를 갖춘 Faster R-CNN 기반의 융합 아키텍처를 사용해 NuScenes 벤치마크에서 최신 기술 수준의 성능을 입증한다.

제안 방법

• 레이다 포인트 클라우드를 차량 좌표계에서 카메라 시야 좌표계로 변환하여 RGB 이미지 특징과 정렬한다.
• 레이다 포인트를 1채널 특징 맵으로 변환하여 각 포인트의 거리(z)를 (x,y) 위치에 임bedding함으로써, 엔드 투 엔드 CNN 처리를 가능하게 한다.
• 네트워크의 이른 시기 단계에서 RGB와 레이다 특징 맵을 요소별로 융합하여 특징 추출 단계에서 다모달 특징 학습을 가능하게 한다.
• 검출된 레이다 포인트에 해당하는 위치에만 레이다 유도 앵커를 생성하여 불필요한 제안을 줄이고 정밀도를 향상시킨다.
• 두 후보 앵커(한 개는 RGB에서, 한 개는 레이다에서 유도) 중에서 최고의 것을 선택하는 '두 중에서 최고의 것' RPN 타겟 생성 전략을 도입하여 긍정 샘플 품질을 향상시킨다.
• 이중 단계 학습 프로세스를 사용하여 네트워크를 훈련한다: 먼저 COCO에서 ResNet-50를 사용해 FPN를 사전 학습하고, 이후 NuScenes에서 RGB 및 레이다 입력을 사용해 미세 조정한다.

실험 결과

연구 질문

• RQ1 레이다와 RGB 특징의 이른 시기 융합이 악천후 및 저조도 조건에서 객체 검출의 강건성을 향상시키는가?
• RQ2 레이다 포인트를 사용해 앵커 생성을 유도하는 것이 기존의 앵커 기반 방법과 비교해 검출 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 레이다 유도 RPN 타겟 생성 방식이 긍정 샘플 품질 향상과 거짓 긍정 감소에 얼마나 기여하는가?
• RQ4 기존의 RGB 전용 검출기와 비교해, 추가 노이즈 및 극심한 환경 악화 조건에서 제안된 융합 아키텍처의 성능은 어떠한가?
• RQ5 제안된 방법이 NuScenes 벤치마크에서 평균 정밀도 및 강건성 측면에서 기존의 RGB-레이다 융합 접근법을 능가할 수 있는가?

주요 결과

• BIRANet는 NuScenes 데이터셋에서 평균 AP 72.3%와 평균 AR 75.3%를 달성하여, FPN를 갖춘 기본 Faster R-CNN(69.7% AP)을 능가한다.
• RANet는 레이다 유도 앵커만을 사용함에도 불구하고 평균 AP 69.6%와 평균 AR 71.9%를 기록하여 뛰어난 성능을 입증한다.
• 가우시안 노이즈 및 블러를 추가한 조건에서 BIRANet는 FFPN보다 성능 저하가 더 적어, 센서 열화에 대한 강건성을 확인한다.
• 저해상도 512×512 이미지 조건에서 BIRANet는 FFPN(65.4% AP)에 비해 뛰어난 성능(68.7% AP)을 유지하여 저대역폭 환경에서도 효율성을 보여준다.
• 시각적 분석 결과, BIRANet는 레이다 유도 제안 생성 덕분에 FFPN이 놓친 객체, 특히 가림되거나 시야가 떨어지는 경우의 객체를 검출함을 확인할 수 있다.
• '두 중에서 최고의 것' RPN 타겟 생성 방법은 긍정 샘플 품질을 향상시켜 표준 RPN 대비 성능 향상에 기여한다.