[논문 리뷰] Feature Sharing and Integration for Cooperative Cognition and Perception with Volumetric Sensors

Amir Emad Marvasti, Arash Raftari외 4명|arXiv (Cornell University)|2020. 11. 16.

CCD and CMOS Imaging Sensors참고 문헌 31인용 수 8

한 줄 요약

이 논문은 체적 센서를 위한 협업 인식 프레임워크로 딥 피처 샤링(DFS)을 제안하여 차량 간 중간 신경망 피처의 효율적 융합을 가능하게 하여 객체 검출 성능을 향상시키고 통신 오버헤드를 줄인다. GPS 노이즈 상황에서도 원시 정보 공유나 가설 공유 방식보다 평균 정밀도에서 뛰어난 성능을 보이며, 이는 강건한 피처 수준 융합과 국소화 오차에 대한 낮은 민감도 덕분이다.

ABSTRACT

The recent advancement in computational and communication systems has led to the introduction of high-performing neural networks and high-speed wireless vehicular communication networks. As a result, new technologies such as cooperative perception and cognition have emerged, addressing the inherent limitations of sensory devices by providing solutions for the detection of partially occluded targets and expanding the sensing range. However, designing a reliable cooperative cognition or perception system requires addressing the challenges caused by limited network resources and discrepancies between the data shared by different sources. In this paper, we examine the requirements, limitations, and performance of different cooperative perception techniques, and present an in-depth analysis of the notion of Deep Feature Sharing (DFS). We explore different cooperative object detection designs and evaluate their performance in terms of average precision. We use the Volony dataset for our experimental study. The results confirm that the DFS methods are significantly less sensitive to the localization error caused by GPS noise. Furthermore, the results attest that detection gain of DFS methods caused by adding more cooperative participants in the scenes is comparable to raw information sharing technique while DFS enables flexibility in design toward satisfying communication requirements.

연구 동기 및 목표

• 차량 네트워크에서 협업 인식의 한계, 특히 대역폭 제약과 GPS 노이즈로 인한 국소화 오류를 해결한다.
• 체적 센서를 활용한 협업 객체 검출에서 통신 효율성과 검출 성능 간의 상충 관계를 조사한다.
• 원시 데이터 공유(높은 대역폭)와 가설 공유(낮은 대역폭이지만 오류가 발생하기 쉬움) 사이의 중간 지점으로서 딥 피처 샤링(DFS)을 제안하고 평가한다.
• GPS 노이즈와 협업 참여 차량 수가 다양한 공유 철학에 따라 검출 성능에 미치는 영향을 분석한다.
• DFS가 기존 방법보다 낮은 통신 비용으로 높은 검출 성능과 더 높은 강건성을 제공할 수 있음을 입증한다.

제안 방법

• 딥 신경망의 중간 피처를 활용하여 DFS 기반 협업 객체 검출 시스템을 구현하고, 차량 간 피처를 전송한다.
• 협업 참여자 간 피처 융합을 위해 요소별 합산을 사용하여 검출 헤드 이전에 정보를 융합한다.
• 완전히 처리된 정보 공유 기반으로 가설 공유 방법(HSM)을 설계하여, 차량들이 독립적으로 예측한 검출 가설을 공유한다.
• 전체 LIDAR 포인트 클라우드를 전송하여 융합하는 원시 정보 공유(RIS) 기반선을 구현한다.
• 모든 방법 간 일관된 평가를 위해 고정된 앵커(셀당 4개)를 사용한 비최대 억제(NMS)를 적용한다.
• 다양한 GPS 노이즈 수준과 협업 참여 차량 수에서 실험 평가를 위해 Volony 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 GPS 노이즈 하에서 딥 피처 샤링(DFS)이 원시 정보 공유(RIS)와 가설 공유(HSM)에 비해 평균 정밀도 측면에서 어떻게 성능을 내는가?
• RQ2 각 공유 철학에서 협업 참여 차량 수가 증가할수록 검출 성능에 어떤 영향을 미치는가?
• RQ3 RIS, HSM, DFS 방식은 GPS 노이즈로 인한 국소화 오차에 얼마나 민감한가?
• RQ4 왜 HSM 성능은 협업 참여자가 많아질수록 떨어지는가, 특히 보행자 검출에서 더욱 심한가?
• RQ5 NMS 설계가 협업 검출에서 성능을 얼마나 제한하는가, 특히 가설 공유 방식에서는 어떤가?

주요 결과

• 요소별 합산을 사용한 DFS는 RIS 수준의 검출 성능를 달성하면서도 GPS 노이즈에 훨씬 덜 민감하다.
• HSM 성능은 협업 참여자가 증가함에 따라 가설 간 중복 및 부정확한 NMS 융합으로 인해 저하된다.
• HSM의 정밀도 저하가 보행자 검출에서 더 심각한 이유는 엄격한 IoU 임계치(40%)와 높은 국소화 민감도 때문이다.
• RIS와 DFS는 참가자 수가 증가해도 정밀도가 안정적으로 유지되며, 이는 가설 생성 이전에 융합이 이루어지고 고정된 앵커 수에 의해 제약을 받기 때문이다.
• HSM은 DFS와 RIS보다 높은 재현율을 보이지만, 높은 거짓 양성률을 야기한다.
• 결과는 현재 협업 인식에서 NMS 설계의 심각한 약점을 드러내며, 특히 국소화 오차가 있는 다수의 소스에서 가설을 융합할 경우 더욱 두드러진다.