[논문 리뷰] Multi-modal Sensor Fusion for Auto Driving Perception: A Survey

Finkenzeller, Andreas, Roberts, Andrew외 4명|arXiv (Cornell University)|2022. 02. 06.

Advanced Neural Network Applications인용 수 90

한 줄 요약

이 종합 검토에서는 자율 주행 인식에서 다중 모달 센서 융합을 위한 새로운 분류 체계를 제안하며, 융합 단계와 특징 표현에 기반해 강력 융합과 약한 융합으로 나뉘는 두 가지 주요 유형으로 분류한다. 50篇 이상의 논문을 체계적으로 검토하고, 데이터 형식을 분 析하며 도메인 편향과 해상도 불일치와 같은 주요 과제를 밝히며, 자기지도 학습과 다중 소스 정보 통합을 포함한 향후 연구 방향을 제시한다.

ABSTRACT

Environmental perception and 3D object detection are key factors for advancing autonomous driving and require robust security measures to ensure optimal performance and safety. However, established methods often focus only on protecting the involved data and overlook synchronization and timing aspects, which are equally crucial for ensuring profound system security. For instance, multi-modal sensor fusion techniques for object detection can be affected by input desynchronization resulting from random communication delays or malicious cyber attacks, as these techniques combine various sensor inputs to extract shared features present in their data streams simultaneously. Current research acknowledges the importance of temporal alignment in this context. However, the presented studies typically assume genuine system behavior and neglect the potential threat of malicious attacks, as the suggested solutions lack strategies to prevent intentional data misalignment. Additionally, they do not adequately address how sensor input desynchronization affects fusion performance in depth. This paper investigates how desynchronization attacks impact sensor fusion algorithms for 3D object detection. We evaluate how varying sensor delays affect the detection performance and link our findings to the internal architecture of the sensor fusion algorithms and the influence of specific traffic scenarios and their dynamics. We compiled four datasets covering typical traffic scenarios for our empirical evaluation and tested them on four representative fusion algorithms. Our results show that all evaluated algorithms are vulnerable to input desynchronization, as the performance declines with increasing sensor delays, highlighting the existing lack of resilience to desynchronization attacks. Furthermore, we observe that the Light Detection and Ranging (LiDAR) sensor is significantly more susceptible to delays than the camera. Finally, our experiments indicate that the chosen fusion architecture correlates with the system’s resilience against desynchronization, as our results demonstrate that the early fusion approach provides greater robustness than others.

연구 동기 및 목표

• 기존의 세 가지 유형의 융합 분류 체계(조기, 심층, 후기 융합)의 한계를 해결하기 위해 특징 표현에 대한 명확성 부족과 비대칭 융합 패턴을 포착하지 못하는 문제를 해결하기 위함.
• 3D 객체 탐지 및 의미 분할과 같은 작업을 위한 LiDAR와 카메라 센서를 활용한 다중 모달 인식에 관한 최근 50편 이상의 논문을 종합적으로 검토하기 위함.
• 다중 모달 융합에서 지속적인 과제인 도메인 편향, 해상도 불일치, 특징 변환 과정에서의 정보 손실을 규명하기 위함.
• 자기지도 학습 및 다중 소스 정보 통합을 포함한 향후 연구 방향을 제안하기 위함. 예를 들어, 시간적, 공간적, 맥락적 정보를 다중 센서 및 프레임 간에 통합하는 것.
• 현대 융합 아키텍처의 복잡성 변화를 더 잘 반영하는 체계적이고 단계 기반의 분류 프레임워크를 제공하기 위함.

제안 방법

• 융합 방법을 두 가지 주요 유형인 강력 융합과 약한 융합으로 나누며, 강력 융합은 융합 단계와 특징 표현에 기반해 조기 융합, 심층 융합, 후기 융합, 비대칭 융합으로 추가 분류하는 새로운 분류 체계를 제안한다.
• LiDAR(점군, BEV 투영, 볼록 격자)와 카메라(RGB 이미지, 특징 맵)의 데이터 형식과 표현 방식을 분석하고 비교하며, 해상도, 구조, 정보 내용의 차이를 강조한다.
• 연결(concatenation), 요소별 곱셈(element-wise multiplication), 이차형 풀링(bilinear pooling) 등의 융합 기법을 평가하며, 모odal 간 의미적 격차를 메우기 위해 더 정교한 연산이 필요하다고 주장한다.
• 특징 수준의 융합을 명확히 하기 위해 각 모달이 처리 단계에서 수행하는 역할을 명시적으로 정의하는 단계 기반 분류 체계를 도입하여 기존 방법의 대칭성 가정을 피한다.
• 향후 융합 모델은 의미 분할, 차선 탐지, 시간적 시퀀스와 같은 다중 소스 정보를 공동 학습 프레임워크를 통해 통합해야 한다고 제안한다.
• 실제 환경에서 내재된 다중 모달 대응 관계를 활용하기 위해 자기지도 학습 및 대비 학습 기법을 권장하며, 짝지어진 애너테이션에 의존하지 않고도 특징 정렬을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 기존의 조기/심층/후기 융합 분류 방식을 넘어서, 자율 주행 인식에서 다중 모달 센서 융합을 위한 더 체계적이고 정밀한 분류 체계는 어떻게 개발할 수 있는가?
• RQ2 LiDAR 점군과 카메라 이미지 간의 데이터 표현 및 특징 특성의 주요 차이는 무엇이며, 이는 융합 성능에 어떻게 영향을 미치는가?
• RQ3 다중 모달 융합에서 해결되지 않은 주요 과제들, 예를 들어 도메인 편향, 해상도 불일치, 투영 과정에서의 정보 손실은 무엇인가?
• RQ4 향후 융합 모델은 의미적, 공간적, 시간적 맥락을 포함한 다중 소스 정보를 어떻게 더 효과적으로 활용하여 정확성과 내구성을 향상시킬 수 있는가?
• RQ5 자기지도 학습은 다중 모달 특징 정렬을 향상시키고 대규모 애너테이션 데이터셋에 대한 의존도를 줄이는 데 어떤 역할을 할 수 있는가?

주요 결과

• 제안된 분류 체계—강력 융합과 약한 융합으로 나뉘며, 이는 기존의 조기/심층/후기 융합보다 더 명확하고 정확한 현재 융합 방법의 분류를 제공하며, 특히 비대칭 융합 패턴을 포착하는 데 유리하다.
• LiDAR와 카메라 데이터는 해상도, 구조, 정보 내용에서 상당한 차이를 보이며, LiDAR는 낮은 공간 밀도 문제를 겪고, 카메라는 가림과 조명 변화 문제를 겪는다.
• 차원 감소 과정에서 정보 손실이 심각한 편이며, 예를 들어 3D 점군을 2D 조망도(BEV)로 투영할 경우 발생할 수 있다. 이를 완화하기 위해 융합 우수한 고차원 표현을 설계할 필요가 있다.
• 기존의 융합 연산 방식인 연결과 요소별 곱셈은 모달 간 큰 분포 차이를 다루기에 부족하며, 이는 이차형 풀링과 같은 고도화된 메커니즘이 필요함을 시사한다.
• 센서 유형, 날씨, 위치, 계절 등으로 인한 도메인 편향은 모델의 일반화 능력을 제한하며, 향후 모델은 다양한 데이터 소스를 적응적으로 통합하여 내구성을 향상시켜야 한다.
• 자기지도 학습 및 대비 학습 기법은 다중 모달 특징 정렬을 향상시키고 애너테이션 의존도를 줄이는 데 강력한 잠재력을 보이며, 향후 연구에 유망한 길을 제시한다.