[논문 리뷰] A Survey and Framework of Cooperative Perception: From Heterogeneous Singleton to Hierarchical Cooperation

Zhengwei Bai, Guoyuan Wu외 5명|arXiv (Cornell University)|2022. 08. 22.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

이 논문은 연결형 자율주행차(CAV)에서 협업 주시(perception)를 위한 최초의 통합 계층적 프레임워크를 제안하며, 차량, 인프라, 클라우드 등 이질적인 노드를 통합하여 가림막 현상과 제한된 시야 문제를 해결한다. 노드 구조, 센서 모odal리티, 융합 전략에 따라 CP 시스템을 분류하고, 확장 가능한 다중 수준 아키텍처를 도입함으로써 차량-인프라 협업, 다중 모달 융합, 계층적 데이터 처리를 통해 대규모에서의 강력한 주시 성능을 실현한다.

ABSTRACT

Perceiving the environment is one of the most fundamental keys to enabling Cooperative Driving Automation (CDA), which is regarded as the revolutionary solution to addressing the safety, mobility, and sustainability issues of contemporary transportation systems. Although an unprecedented evolution is now happening in the area of computer vision for object perception, state-of-the-art perception methods are still struggling with sophisticated real-world traffic environments due to the inevitably physical occlusion and limited receptive field of single-vehicle systems. Based on multiple spatially separated perception nodes, Cooperative Perception (CP) is born to unlock the bottleneck of perception for driving automation. In this paper, we comprehensively review and analyze the research progress on CP and, to the best of our knowledge, this is the first time to propose a unified CP framework. Architectures and taxonomy of CP systems based on different types of sensors are reviewed to show a high-level description of the workflow and different structures for CP systems. Node structure, sensor modality, and fusion schemes are reviewed and analyzed with comprehensive literature to provide detailed explanations of specific methods. A Hierarchical CP framework is proposed, followed by a review of existing Datasets and Simulators to sketch an overall landscape of CP. Discussion highlights the current opportunities, open challenges, and anticipated future trends.

연구 동기 및 목표

• 단일 차량 주시의 핵심적 한계인 물리적 가림막 현상과 좁은 시야를 협업 센싱을 통해 해결한다.
• 다양한 아키텍처와 융합 전략을 통합함으로써 다중 노드 주시 시스템의 확장성 및 이질성 문제를 해결한다.
• 차량, 인프라, 클라우드 수준을 통합한 계층적 CP 프레임워크를 제안하여 협업 주행 자동화를 위한 확장 가능하고 강력하며 효율적인 주시를 실현한다.
• 기존 데이터셋, 시뮬레이터, CP 방법을 체계적으로 검토하여 연구 격차를 파악하고 향후 개발을 이끌어내기 위한 기반을 마련한다.
• 다중 모달 및 이질적 협업을 강조하는 포괄적인 분류 체계와 발전 로드맵을 수립함으로써 분야를 선도적으로 발전시킨다.

제안 방법

• 도로 교차로 수준, 통로 수준, 네트워크 수준의 협업을 포함하는 3단계 계층적 CP 프레임워크를 제안하여 도시 환경 전역에서의 확장 가능한 주시를 실현한다.
• 노드 구조(예: 차량 전용, 차량-인프라), 센서 모달리티(카메라, LiDAR, RADAR), 융합 전략(초기 융합, 후기 융합, 딥 융합, 특징 수준 융합)에 따라 CP 시스템을 분류한다.
• 기존 CP 방법을 그들의 아키텍처적 및 운영적 특성에 기반해 정리할 수 있는 통합 분류 체계를 도입한다.
• 초기 융합에서 딥 융합에 이르는 융합 기법을 분석하며, 정확도, 지연 시간, 계산 비용 간의 상충 관계를 강조한다.
• 인프라가 고용량 처리 및 데이터 집계 노드로서의 역할을 하여 차량 내부의 계산 부담을 감소시킨다.
• 이질적인 노드 간의 효율적 정보 공유를 가능하게 하되 통신 대역폭을 과도하게 소모하지 않는 동적이고 경량의 데이터 교환 프로토콜을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처, 센서 유형, 융합 전략 간에 협업 주시를 체계적으로 분류하고 통합하는 방법은 무엇인가?
• RQ2 차량과 인프라로 구성된 대규모 이질적 네트워크로 협업 주시를 확장할 때의 주요 아키텍처적 및 운영적 과제는 무엇인가?
• RQ3 차량-인프라 협업은 단일 차량 주시의 한계를 초월해 주시의 강성과 커버리지에 어떻게 기여하는가?
• RQ4 다중 모달 센서 융합(예: 카메라 + LiDAR)은 다수의 협업 노드에서 주시 정확도 향상에 어떤 역할을 하는가?
• RQ5 실세계 교통 시스템에서 확장 가능하고 실시간이며 비용 효율적인 협업 주시를 달성하기 위한 가장 유망한 길은 무엇인가?

주요 결과

• 제안된 계층적 CP 프레임워크는 차량, 인프라, 클라우드 수준을 통합하여 확장 가능하고 강력한 주시를 실현하는 최초의 통합 아키텍처를 제공한다.
• 차량-인프라 협업은 가림막 현상을 완화하고 단일 노드의 한계를 초월한 효과적인 시야를 연장함으로써 주시 정확도와 커버리지를 크게 향상시킨다.
• 다수의 노드에서 다중 모달 센서 융합은 복잡한 도시 환경에서의 동적 장애물에 대해 탐지 정확도와 강성 모두를 향상시킨다.
• 딥 융합 및 특징 수준 융합 방법은 더 높은 정확도를 보이지만, 특히 대규모 구현에서 확장성과 계산 비용 문제에 직면해 있다.
• 인프라 기반의 주시 노드는 고성능 처리 허브로 기능하여 개별 차량의 고성능 컴퓨팅 요구를 줄이고 비용 효율적인 대규모 구현을 가능하게 한다.
• 기존의 협업 주시용 데이터셋과 시뮬레이터의 범위와 현실성은 여전히 제한되어 있어 향후 개발을 위해 반드시 해결해야 할 핵심 연구 격차로 지적된다.