[논문 리뷰] Vehicle-Infrastructure Cooperative 3D Object Detection via Feature Flow Prediction

Haibao Yu, Yingjuan Tang외 5명|arXiv (Cornell University)|2023. 03. 19.

Advanced Neural Network Applications인용 수 14

한 줄 요약

FFNet는 시간 비동기 하에서 인프라(features)와 차(Ego) 차량 특징을 정렬하는 특징 흐름 예측 모듈을 도입하여 전송 비용을 줄이고 VIC3D 탐지 성능을 향상시킨다.

ABSTRACT

Cooperatively utilizing both ego-vehicle and infrastructure sensor data can significantly enhance autonomous driving perception abilities. However, temporal asynchrony and limited wireless communication in traffic environments can lead to fusion misalignment and impact detection performance. This paper proposes Feature Flow Net (FFNet), a novel cooperative detection framework that uses a feature flow prediction module to address these issues in vehicle-infrastructure cooperative 3D object detection. Rather than transmitting feature maps extracted from still-images, FFNet transmits feature flow, which leverages the temporal coherence of sequential infrastructure frames to predict future features and compensate for asynchrony. Additionally, we introduce a self-supervised approach to enable FFNet to generate feature flow with feature prediction ability. Experimental results demonstrate that our proposed method outperforms existing cooperative detection methods while requiring no more than 1/10 transmission cost of raw data on the DAIR-V2X dataset when temporal asynchrony exceeds 200$ms$. The code is available at \href{https://github.com/haibao-yu/FFNet-VIC3D}{https://github.com/haibao-yu/FFNet-VIC3D}.

연구 동기 및 목표

• 인프라와 자가차 센서를 함께 활용하여 ego-만의 인지 한계를 극복하고 VIC3D 객체 탐지를 유도한다.
• 퓨전 정합 불일치를 야기하는 시간적 비동기와 제한된 통신 대역폭을 해결한다.
• 차량 타임스탬프에 맞추기 위해 미래의 인프라 특징을 예측하는 확장 가능한 중간 수준의 융합 프레임워크를 제안한다.
• 원시 특징 맵 대신 압축된 특징 흐름을 전송함으로써 전송 비용을 줄인다.
• 불확실한 지연에 대한 강건성을 입증하고 실제 데이터셋에서 최첨단 성능을 보인다.

제안 방법

• 원시 특징이 아닌 압축된 특징 흐름을 전송하는 Feature Flow Net(FFNet)을 도입한다.
• 특징 흐름을 F_i(t_i)와 그 1차 미분 F_i'(t_i)로 정의하여 미래의 인프라 특징을 예측한다.
• 연속된 인프라 프레임에서 코사인 유사도 손실을 통해 F_i'(t_i)을 학습하는 자기지도 학습 방식 사용.
• 인프라 특징 F_i(P_i(t_i))와 그 도함수를 압축하여 전송당 전송 비용을 0.12 MB로 감소.
• 차량에서 복원하고, 선형 근사를 이용해 시간 t_v의 정렬된 인프라 특징을 예측한 뒤 차량 특징과 융합하여 3D 탐지 헤드를 구성한다.
• DAIR-V2X에서 FFNet를 비융합, 초기 융합, 후기 융합, 중간 융합 기준선과 비교 평가한다.

실험 결과

연구 질문

• RQ1 시간적 비동기성으로 인해 발생하는 융합 정합 불일화를 특징 흐름 예측이 완화할 수 있는가?
• RQ2 압축된 특징 흐름을 사용할 때 원시 데이터나 다른 융합 방식과의 전송 비용 트레이드오프는 무엇인가?
• RQ3 인프라와 자가 차량 센서 간의 변화하는 불확실한 지연에 대해 FFNet의 견고성은 어느 정도인가?
• RQ4 수동 주석 없이 자기지도 학습이 특징 흐름 생성기를 효과적으로 학습시키는가?
• RQ5 현실 세계 데이터에서 FFNet가 최첨단 협력 인식 방법들에 비해 얼마나 성능을 발휘하는가?

주요 결과

• FFNet은 중간 융합 방법들 중에서 200 ms 지연에서 DAIR-V2X에서 최첨단 성능을 달성한다.
• 100 ms 지연에서 FFNet의 mAP@3D IoU 0.5는 55.48이고 mAP@BEV IoU 0.5는 63.14이며 AB 1.2e5 바이트이다.
• 200 ms 지연에서 FFNet의 mAP@3D IoU 0.5는 55.37이고 mAP@BEV IoU 0.5는 63.20이며 AB 1.2e5 바이트이다.
• FFNet은 100 ms 및 200 ms 지연에서 DiscoNet 및 V2VNet(중간 융합)을 눈에 띄게 능가하며 원시 데이터의 전송 비용의 1/10 이하를 사용하는 것이다.
• 특징 흐름 기반 접근 방식은 시간 지연으로 인한 성능 저하를 크게 완화하여 예측 없이 FFNet 변형보다 높은 지연에서 더 나은 성능을 보인다.
• 자기지도 학습은 연속된 인프라 프레임으로부터 특징 흐름 예측기를 효과적으로 학습하여 불확실한 지연에서도 견고한 정합을 가능하게 한다.