[논문 리뷰] SPLATNet: Sparse Lattice Networks for Point Cloud Processing

Hang Su, Varun Jampani외 5명|arXiv (Cornell University)|2018. 02. 22.

3D Shape Modeling and Analysis참고 문헌 19인용 수 73

한 줄 요약

SPLATNet은 permutohedral 격자에서 희소 양방향 컨볼루션 계층을 도입하여 3D 포인트 클라우드를 효율적으로 처리하고 2D-3D 정보를 공동 융합하며, 보셀화 없이도 희소성을 처리하면서 최첨단 세분화를 달성합니다.

ABSTRACT

We present a network architecture for processing point clouds that directly operates on a collection of points represented as a sparse set of samples in a high-dimensional lattice. Naively applying convolutions on this lattice scales poorly, both in terms of memory and computational cost, as the size of the lattice increases. Instead, our network uses sparse bilateral convolutional layers as building blocks. These layers maintain efficiency by using indexing structures to apply convolutions only on occupied parts of the lattice, and allow flexible specifications of the lattice structure enabling hierarchical and spatially-aware feature learning, as well as joint 2D-3D reasoning. Both point-based and image-based representations can be easily incorporated in a network with such layers and the resulting model can be trained in an end-to-end manner. We present results on 3D segmentation tasks where our approach outperforms existing state-of-the-art techniques.

연구 동기 및 목표

• 복셀 사전 처리 없이 불규칙한 포인트 클라우드를 직접 처리하도록 동기를 부여한다.
• 가 조정 가능한 수용 필드와 공간적으로 민감한 특징을 가능하게 하는 유연한 격자 기반 컨볼루션 프레임워크를 개발한다.
• 점유된 격자 사이트에서만 작동하도록 해시를 사용하여 효율적인 희소 연산을 가능하게 한다.
• 포인트 클라우드와 동일한 격자에 이미지 특징을 매핑하여 2D-3D의 공동 처리를 포함한다.
• RueMonge2014와 ShapeNet 데이터셋에서 우수한 세분화 성능을 입증한다.

제안 방법

• 입력 특징을 고차원 희소 격자(permutohedral lattice)에 매핑하기 위한 빌딩 블록으로 Bilateral Convolution Layers(BCLs)를 활용한다.
• Splat -> Convolve -> Slice 연산은 학습 가능한 고차원 필터와 함께 입력점과 격자 사이에서 특징을 전달한다.
• 점진적으로 더 거친 격자 스케일을 통해 수용 영역을 증가시키며 여러 BCL을 쌓아 SPLATNet_3D를 구성하고, 그 출력을 연결(concatenate)한 뒤 1x1 컨볼루션으로 각 포인트의 최종 예측을 생성한다.
• 2D CNN 특징을 3D 격자에 스플랫하고 포인트 클라우드에 슬라이스하여 2D-3D 융합을 가능하게 하는 SPLATNet_2D-3D로 확장하고, 연결(concatenation)과 1x1 컨볼루션을 통해 2D-3D 융합을 수행한다.
• 입력/출력 격자 특징의 유연성(L_in, L_out)과 수용 필드를 제어하는 다양한 격자 규모 Lambda를 허용하는 엔드-투-엔드 학습 가능한 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 SPLATNet의 희소 고차원 양방향 필터링이 voxel화 없이 불규칙한 포인트 클라우드를 효율적으로 처리할 수 있는가?
• RQ2 포인트 클라우드(및 선택적으로 2D 이미지)를 공유 격자에 매핑하는 것이 3D 세분화 및 2D-3D 융합을 위한 효과적인 엔드투엔드 학습을 가능하게 하는가?
• RQ3 격자 규모 선택이 3D 포인트 클라우드 작업의 수용 필드와 성능에 어떤 영향을 미치는가?
• RQ4 공동 2D-3D 처리가 순수 3D 또는 순수 2D 접근법보다 세분화 성능을 향상시키는가?
• RQ5 SPLATNet 변형들이 RueMonge2014 파사드 세분화 및 ShapeNet 파트 세분화에서 최신 방법 대비 어떤 성능을 보이는가?

주요 결과

• SPLATNet_3D는 RueMonge2014 3D 포인트 클라우드 레이블링에서 65.4 IoU를 달성하며, OctNet(59.2 IoU)보다 높다.
• SPLATNet_2D-3D는 RueMonge2014 3D 레이블링에서 2D-3D 데이터로 69.8 IoU를 달성하며, 이전 최첨단(Autocontext2D-3D at 62.9 IoU)을 능가한다.
• RueMonge2014의 다중 시각 이미지 레이블링에서 DeepLab 2D + SPLATNet_2D-3D는 70.6 IoU로 기준선보다 높다.
• ShapeNet 파트 세분화에서 SPLATNet_3D는 클래스 평균 IoU 82.0 및 인스턴스 평균 IoU 84.6를 달성; SPLATNet_2D-3D는 클래스 평균 IoU 83.7 및 인스턴스 평균 IoU 85.4로 이전 방법을 능가한다.
• SPLATNet_2D-3D는 엔드-투-엔드 2D-3D 융합의 큰 이점을 보여주지만, 많은 고해상도 뷰에 대한 2D 네트워크 처리로 런타임이 증가하는 trade-off가 있다.