[논문 리뷰] Compressing Sensor Data for Remote Assistance of Autonomous Vehicles using Deep Generative Models

Daniel Bogdoll, Johannes Jestram외 4명|arXiv (Cornell University)|2021. 11. 04.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 자율주행차 센서 데이터를 압축하기 위한 딥 제너레이티브 모델 기반 압축 파이프라인을 제안하여 효율적인 원격 보조를 가능하게 한다. 실시간 이미지 및 라이다 압축을 위해 VAE를 사용하고, 고품질 복원을 위해 GAN을 사용함으로써, ROS 통합 온라인 파이프라인에서 압축 효율성, 복원 정밀도, 저지연 간의 균형을 이루었다. VAE는 더 빠른 추론 속도로 인해 실시간 원격 보조에 가장 실현 가능하다고 입증되었다.

ABSTRACT

In the foreseeable future, autonomous vehicles will require human assistance in situations they can not resolve on their own. In such scenarios, remote assistance from a human can provide the required input for the vehicle to continue its operation. Typical sensors used in autonomous vehicles include camera and lidar sensors. Due to the massive volume of sensor data that must be sent in real-time, highly efficient data compression is elementary to prevent an overload of network infrastructure. Sensor data compression using deep generative neural networks has been shown to outperform traditional compression approaches for both image and lidar data, regarding compression rate as well as reconstruction quality. However, there is a lack of research about the performance of generative-neural-network-based compression algorithms for remote assistance. In order to gain insights into the feasibility of deep generative models for usage in remote assistance, we evaluate state-of-the-art algorithms regarding their applicability and identify potential weaknesses. Further, we implement an online pipeline for processing sensor data and demonstrate its performance for remote assistance using the CARLA simulator.

연구 동기 및 목표

• 네트워크 인fra구조의 과부하를 일으키지 않으면서도 고용량 자율주행차 센서 데이터(카메라 및 라이다)를 실시간으로 전송하는 데 도전 과제를 해결하기 위해.
• 원격 보조 환경에서 이미지 및 라이다 압축에 대해 기존 코덱과 비교하여 최신 딥 제너레이티브 모델(VAE 및 GAN)의 성능을 평가하기 위해.
• 카메라 및 라이다 데이터를 한 번의 추론 프로세스로 처리할 수 있는 통합형 온라인 ROS 기반 압축 파이프라인을 설계하고 구현하기 위해.
• 원격 보조 사용 사례에 적합한 압축 비율, 복원 품질, 인식 능력(객체 검출), 처리 지연 간의 상호 상충 관계를 평가하기 위해.
• 특히 GAN 기반 모델에 대한 실시간 배포에서 발생하는 실용적 제약 조건과 성능 저하 요인을 규명하기 위해.

제안 방법

• KITTI 및 WAYMO Perception Open Dataset에서 VAE 기반 및 GAN 기반 오토에인코더를 훈련 및 평가하여 이미지 및 라이다 압축을 수행하였다.
• 로봇 운영 체제(Robot Operating System, ROS)에 기반한 엔드 투 엔드 온라인 압축 파이프라인을 구현하여 센서 데이터를 실시간으로 처리하고 전송하였다.
• 카메라 이미지와 라이다 포인트 클라우드를 동시에 압축하기 위해 공유 인코더-디코더 아키텍처를 사용하여 단일 추론 프로세스로 공동 처리를 가능하게 하였다.
• 딥 제너레이티브 모델의 입력으로 사용하기 위해 원시 라이다 포인트 클라우드를 텐서 형식으로 변환하였으며, 계산 오버헤드를 줄이기 위해 고유의 사전처리를 수행하였다.
• 사전처리, 압축, 복원 단계의 지연 시간을 측정하고 분석하여 성능 저하 요인을 규명하였다.
• 재구성 품질 평가에 PSNR, SSIM, LPIPS 지표를 사용하였고, 재구성된 이미지에서의 객체 검출을 통해 인식 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 기존 코덱(예: JPEG, MPEG)과 비교하여 VAE 및 GAN은 자율주행차 이미지 압축에서 비율-왜곡 성능과 인식 품질 측면에서 어떻게 다른가?
• RQ2 낮은 비트레이트 압축(예: 0.2–0.3 bpp)이 원격 보조를 위한 재구성된 이미지에서 객체 검출 성능에 어떤 영향을 미치는가?
• RQ3 이미지 및 라이다 데이터에 대한 제너레이티브 모델의 실시간 처리 지연 시간은 얼마이며, 주요 성능 저하 요인은 무엇인가?
• RQ4 통합된 딥 제너레이티브 모델 파이프라인은 원격 보조를 위해 낮은 지연 시간으로 카메라 및 라이다 데이터를 효율적으로 압축할 수 있는가?
• RQ5 라이다 포인트 클라우드의 사전처리가 전체 파이프라인 지연 시간에 어떤 영향을 미치며, 최적화된 변환 방법은 실시간 성능 향상에 기여하는가?

주요 결과

• GAN 기반 이미지 압축은 낮은 비트레이트(0.2–0.3 bpp)에서 최고의 재구성 품질을 달성하였으며, PSNR 및 SSIM 값이 높은 정밀도를 나타내었고, 원격 보조에 필요한 충분한 객체 검출 정확도를 유지하였다.
• VAE 기반 이미지 압축은 속도와 품질 간의 더 나은 균형을 이룩하였으며, GAN보다 훨씬 낮은 지연 시간(압축 시 12.3 ms)을 보였고, 이는 실시간 원격 보조에 더 적합하다는 것을 의미한다.
• VAE를 사용한 라이다 압축은 원본과 재구성된 포인트 클라우드 간 평균 유클리드 거리 오차가 0.3–0.5 m로 나타나 눈에 띄는 기하학적 왜곡이 있음을 보여주었다.
• 라이다 데이터의 사전처리(텐서 형식으로의 변환)가 주요 성능 저하 요인으로 나타났으며, 스캔당 114.5 ms가 소요되어 압축(10.4 ms) 및 복원(8.9 ms) 시간을 훨씬 초월하였다.
• 높은 압축 비율에도 불구하고 GAN은 높은 추론 지연 시간으로 인해 실시간 사용에 부적합하여 실용적인 원격 보조 시스템에서 제외되었다.
• ROS 통합 온라인 파이프라인은 단일 프로세스로 이미지 및 라이다 데이터의 엔드 투 엔드 처리를 성공적으로 구현하여 통합 압축 아키텍처의 실현 가능성을 입증하였다.