[논문 리뷰] MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models

Sourav Biswas, Jerry Liu외 3명|arXiv (Cornell University)|2020. 11. 15.

Video Surveillance and Tracking Methods인용 수 14

한 줄 요약

MuSCLE는 여러 스위프트를 통해 공간-시간 중복성을 모델링함으로써 기하학적 구조와 강도를 동시에 압축하는 딥러닝 기반 압축 프레임워크를 제안한다. 이는 SemanticKITTI와 UrbanCity에서 최신 기술 대비 6–19%의 비트레이트 감소를 달성하면서도 후행 인식 작업 성능을 유지한다.

ABSTRACT

We present a novel compression algorithm for reducing the storage of LiDAR sensor data streams. Our model exploits spatio-temporal relationships across multiple LiDAR sweeps to reduce the bitrate of both geometry and intensity values. Towards this goal, we propose a novel conditional entropy model that models the probabilities of the octree symbols by considering both coarse level geometry and previous sweeps' geometric and intensity information. We then use the learned probability to encode the full data stream into a compact one. Our experiments demonstrate that our method significantly reduces the joint geometry and intensity bitrate over prior state-of-the-art LiDAR compression methods, with a reduction of 7-17% and 15-35% on the UrbanCity and SemanticKITTI datasets respectively.

연구 동기 및 목표

• 자율주행차 및 로봇에서 발생하는 지속적인 LiDAR 데이터 스트림의 높은 저장비용과 대역폭 비용을 해결한다.
• 이전 기술들이 스위프트 간 시간적 상관관계를 忽시하는 한계를 극복한다.
• 기하학적 좌표와 강도 값 모두를 동시에 압축하며, 이는 이전의 압축 작업에서 자주 忽시되는 요소이다.
• 공간-시간 의존성을 모델링하여 압축 효율을 향상시키는 통합 프레임워크를 개발한다.
• 압축된 데이터가 후행 인식 작업(예: 검출 및 분할)에 충분한 품질을 유지하도록 보장한다.

제안 방법

• 포인트 클라우드를 양자화된 옥트리트로 표현하며, 잎 노드는 점의 위치와 강도 값을 저장하고, 내부 노드는 8비트 점유 기호를 저장한다.
• 현재 스위프트의 굵은 기하학적 구조와 이전 스위프트의 공간적으로 정렬된 특징을 사용하여 점유 기호 확률을 예측하는 딥 컨ditional 엔트로피 모델을 설계한다.
• 연속적인 컨볼루션을 사용하여 스위프트 간 인접 노드로부터 다중 스케일 컨텍스트를 통합함으로써 점유 및 강도 기호의 확률 추정을 향상시킨다.
• 이전 스위프트의 공간적·시간적으로 정렬된 특징을 조건으로 하여 강도 압축을 수행함으로써 강도 값의 예측 정확도를 향상시킨다.
• 엔트로피 모델에서 학습된 확률 분포를 이용해 손실 없는 엔트로피 코더(예: 레인지 코딩)를 적용하여 최종 압축 비트스트림을 생성한다.
• 비트레이트와 복원 품질을 동시에 최적화하는 통합형 엔드 투 엔드 학습 가능한 프레임워크 내에서 기하학적 구조와 강도 압축을 통합한다.

실험 결과

연구 질문

• RQ1 여러 LiDAR 스위프트 간 공간-시간 상관관계를 모델링하면 포인트 클라우드 데이터 스트림의 비트레이트를 크게 감소시킬 수 있는가?
• RQ2 딥 컨디셔널 엔트로피 모델은 스위프트 간 기하학적 구조와 강도 간의 공동 의존성을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 과거 스위프트 정보를 통합할 경우 점유 및 강도 값에 대한 압축 효율은 어느 정도 향상되는가?
• RQ4 제안된 압축 방법은 후행 인식 작업에서 성능을 유지하기에 충분한 구조적 및 강도 정밀도를 유지하는가?
• RQ5 기하학적 구조에만 집중하는 방법과 비교해 기하학적 구조와 강도를 동시에 압축하는 것이 성능을 뛰어넘는가?

주요 결과

• UrbanCity 데이터셋에서 MuSCLE는 최신 기술 대비 기하학적 구조와 강도의 조합 비트레이트를 7–17% 감소시켰다.
• SemanticKITTI 데이터셋에서는 MuSCLE가 비트레이트 감소율 6–19%를 달성하면서도 높은 복원 품질을 유지하였다.
• 이전 스위프트로부터 다중 스케일 컨텍스트를 통합하기 위해 연속 컨볼루션을 도입함으로써 강도 압축 성능이 단순 모델 대비 11–12% 향상되었다.
• 절단 실험 결과, 과거 스위프트 정보, 상향 및 하향 특징, 연속 컨볼루션을 통합할 경우 항상 비트레이트를 감소시키면서도 복원 품질을 손상시키지 않았다.
• MuSCLE에서 복원된 결과물은 후행 작업에서 최소한의 현실감 격차를 유지한다: 저비트레이트에서도 세분화 및 객체 검출 성능이 압축되지 않은 데이터와 거의 동일한 성능을 기록하였다.
• 본 방법은 다양한 도시 환경에서 뛰어난 강인성을 보이며, 대규모 벤치마크 데이터셋 전반에서 일관된 성능 향상을 보였다.