[논문 리뷰] LMSCNet: Lightweight Multiscale 3D Semantic Completion

Luis Roldão, Raoul de Charette외 1명|arXiv (Cornell University)|2020. 08. 24.

3D Shape Modeling and Analysis참고 문헌 51인용 수 134

한 줄 요약

LMSCNet은 2D UNet 기반 백본과 3D 세분류 헤드를 사용하여 SemantickITTI 벤치마크에서 최고 성능을 달성하면서 파rameter 수와 추론 시간을 크게 줄인 경량 다중스케일 3D 의미적 장면 완성 네트워크를 제안한다. 높이 방향의 2D 컨볼루션과 확장된 3D 컨볼루션을 활용함으로써 정확도를 희생시키지 않고도 빠른 거친 스케일 추론(1:8 해상도에서 최대 372 FPS)을 가능하게 한다.

ABSTRACT

We introduce a new approach for multiscale 3Dsemantic scene completion from voxelized sparse 3D LiDAR scans. As opposed to the literature, we use a 2D UNet backbone with comprehensive multiscale skip connections to enhance feature flow, along with 3D segmentation heads. On the SemanticKITTI benchmark, our method performs on par on semantic completion and better on occupancy completion than all other published methods -- while being significantly lighter and faster. As such it provides a great performance/speed trade-off for mobile-robotics applications. The ablation studies demonstrate our method is robust to lower density inputs, and that it enables very high speed semantic completion at the coarsest level. Our code is available at https://github.com/cv-rits/LMSCNet.

연구 동기 및 목표

• 희소 3D 의미적 장면 완성에서 3D CNN의 높은 계산 비용과 메모리 오버헤드 문제를 해결한다.
• 희소 LiDAR 입력을 활용한 모바일 로봇 및 자율주행 응용 분야에서 실시간 추론을 가능하게 한다.
• 전면 3D 컨볼루션 대신 2D 컨볼루션을 사용하더라도 의미 레이블링과 장면 완성의 정확도를 높게 유지한다.
• 재학습 없이도 빠른 거친 수준의 완성을 지원하는 다중스케일 추론 파이프라인을 도입한다.
• 실제 센서 제한 조건을 시뮬레이션하는 저밀도 LiDAR 스캔에 대해 강건성을 입증한다.

제안 방법

• 높이 방향의 2D 컨볼루션을 사용하여 계산 비용을 줄인 2D UNet 스타일의 인코더-디코더 백본을 사용한다.
• 2D 특징 맵에서 밀도 있는 3D 의미 레이블을 예측하기 위해 네트워크의 끝단에 3D 컨볼루션 헤드를 적용한다.
• 감지 영역을 확장하고 특징을 풍부하게 하기 위해 3D 헤드에 아트로스 스페이셜 피어리어 풀링(ASPP) 블록을 통합한다.
• 모든 디코더 레벨 간에 다중스케일 스킵 연결을 적용하여 특징 흐름과 맥락 이해를 향상시킨다.
• 더 깊은 디코더 브랜치를 잘라내어 다중스케일 추론을 가능하게 하여 복잡도를 낮춘 채로 빠른 거친 예측(1:2, 1:4, 1:8)을 허용한다.
• TSDF나 SDF 변환과 같은 전처리 없이 LiDAR 스캔에서 유도된 희소 복셀화 입력을 사용하여 원본 점유 격자를 유지한다.

실험 결과

연구 질문

• RQ1 2D 기반 백본에 3D 헤드를 적용할 경우, 3D-CNN 기반 베이스라인 대비 유의미하게 더 빠르고 가벼운 성능을 달성할 수 있는가?
• RQ2 다중스케일 추론 기능은 3D 의미적 완성에서 속도-정확도 트레이드오���에 어떤 영향을 미치는가?
• RQ3 저밀도 LiDAR 입력에 대해 모델의 강건성은 어느 정도이며, 실세계 센서 제한 조건을 잘 반영하는가?
• RQ4 한 축에 대해 2D 컨볼루션을 사용하는 것이 3D 공간 연결성과 전체 성능을 약화시키는가?
• RQ5 경량 아키텍처가 완성 및 의미 분류 지표 모두에서 무거운 모델을 능가할 수 있는가?

주요 결과

• LMSCNet은 장면 완성에서 54.22% IoU, 의미 분류에서 16.78% mIoU를 기록하여 SemantickITTI 벤치마크에서 최고 성능을 달성했으며, 완성 성능에서는 이전 방법을 능가하고 의미 분류 성능에서는 동등하거나 초월한다.
• 1:8 해상도에서 최대 372 FPS를 기록하여 TS3D+DNet+SATNet 대비 300배 빠르고 SSCNet 대비 6배 빠르며, 거친 추론에 있어 뛰어난 속도를 입증한다.
• 2D 컨볼루션을 사용함에도 불구하고 높은 성능 유지 — ASPP 제거 시 mIoU는 0.41% 감소하고, 일반 UNet 디코더 사용 시 완성 IoU는 0.68% 감소한다.
• 저밀도 입력에 대해 강건함 — 8층 LiDAR 입력(2.10% 밀도) 조건에서도 일반적인 장면 윤곽을 합리적인 정확도로 복원한다.
• 전체 스케일 LMSCNet은 파라미터 수가 0.35M이고 GFLOPs는 72.6로, SSCNet-full 대비 5배 가볍고 10배 빠르며, 완성 지표에서 더 뛰어나다.
• 제거 실험 결과, 디컨볼루션 레이어가 성능에 기여함(1.43% IoU 감소), 다중스케일 UNet 디코더가 완성 성능을 0.68% 향상시키고 의미 분류 성능을 0.56% 향상시킴을 확인했다.