[논문 리뷰] Recurrent Slice Networks for 3D Segmentation of Point Clouds

Qiangui Huang, Weiyue Wang외 1명|arXiv (Cornell University)|2018. 02. 13.

3D Shape Modeling and Analysis참고 문헌 7인용 수 60

한 줄 요약

RSNet은 무작위 점들을 정렬된 슬라이스 시퀀스로 투영하고 양방향 RNN을 적용한 뒤 점으로 다시 업풀링하는 경량 로컬 의존 모듈을 통해 포인트 클라우드 분할을 수행합니다; 효율적인 계산으로 S3DIS, ScanNet, ShapeNet에서 최첨단 성능을 달성합니다.

ABSTRACT

Point clouds are an efficient data format for 3D data. However, existing 3D segmentation methods for point clouds either do not model local dependencies \cite{pointnet} or require added computations \cite{kd-net,pointnet2}. This work presents a novel 3D segmentation framework, RSNet\footnote{Codes are released here https://github.com/qianguih/RSNet}, to efficiently model local structures in point clouds. The key component of the RSNet is a lightweight local dependency module. It is a combination of a novel slice pooling layer, Recurrent Neural Network (RNN) layers, and a slice unpooling layer. The slice pooling layer is designed to project features of unordered points onto an ordered sequence of feature vectors so that traditional end-to-end learning algorithms (RNNs) can be applied. The performance of RSNet is validated by comprehensive experiments on the S3DIS\cite{stanford}, ScanNet\cite{scannet}, and ShapeNet \cite{shapenet} datasets. In its simplest form, RSNets surpass all previous state-of-the-art methods on these benchmarks. And comparisons against previous state-of-the-art methods \cite{pointnet, pointnet2} demonstrate the efficiency of RSNets.

연구 동기 및 목표

• 보셀화나 다중 뷰 프로젝션 없이 원시 포인트 클라우드에서 직접 3D 분할을 유도한다.
• 로컬 기하학적 의존성을 효율적으로 모델링하여 분할 정확도를 향상시킨다.
• 시간과 메모리 효율을 유지하는 경량 로컬 의존 모듈을 제안한다.
• 대규모 실제 및 합성 데이터 세트에서 RSNet를 검증하여 최첨단 성능과 효율성을 입증한다.

제안 방법

• 무작위 포인트를 슬라이스 레벨 특징의 정렬된 시퀀스로 투영하기 위해 슬라이스 풀링을 도입한다.
• 슬라이스 간 의존성을 모델링하기 위해 다층의 양방향 RNN을 적용한다.
• 업데이트된 슬라이스 특징을 개별 점으로 다시 매핑하기 위해 슬라이스 언풀링을 사용한다.
• 비등방성 로컬 컨텍스트를 포착하기 위해 세 가지 슬라이싱 방향(x, y, z)을 처리한다.
• 입력 점의 수에 대해 선형 시간 복잡도 O(n)을, 슬라이싱 해상도 r에 대해 O(1)을 유지한다.
• 독립 피처 추출을 위한 1x1 컨볼루션과 기본적으로 GRU 기반 RNN을 특징으로 하는 기본 RSNet 아키텍처로 학습한다( LSTM/vanilla RNN에 대한 비교실험 포함 ).

실험 결과

연구 질문

• RQ1 볼셀화 없이 또는 밀집 3D 컨볼루션 없이 포인트 클라우드의 로컬 기하학적 의존성을 어떻게 효율적으로 모델링할 수 있는가?
• RQ2 슬라이스 분할(해상도 r)와 블록 크기가 분할 정확도 및 계산에 어떤 영향을 미치는가?
• RQ3 슬라이스 풀링과 슬라이스 언풀링이 이웃한 슬라이스 간 컨텍스트를 포착하기 위해 RNN의 효과적 활용을 가능하게 하는가?
• RQ4 RSNet은 S3DIS, ScanNet, ShapeNet에서 정확도와 효율성 측면에서 최첨단 포인트 클라우드 분할 방법과 어떻게 비교되는가?

주요 결과

• RSNet은 데이터 증강 없이 S3DIS와 ScanNet에서 최첨단 성능을 달성하여 기존의 보셀 기반 및 다른 포인트 클라우드 방법들을 능가한다.
• RSNet은 대규모 실내 장면과 합성 데이터에서 이전 방법들에 비해 평균 IoU와 평균 정확도를 지속적으로 향상시킨다.
• 로컬 의존 모듈(슬라이스 풀링 + 양방향 RNN + 슬라이스 언풀링)은 로컬 기하를 포착하는 데 중요하며 PointNet 유사 기초 방법 대비 유의미한 이점을 제공한다.
• RSNet은 추론 속도와 메모리 사용 면에서 우호적이며, 여러 PointNet++ 구성보다 속도가 빠르고 전통적 기준보다 메모리를 덜 소비한다.
• Ablation 연구는 S3DIS에서 2–3 cm의 슬라이싱 해상도(모든 축)와 1m 블록 크기가 최적의 성능을 보이며, 이 설정에서 GRU 유닛이 vanilla RNN 및 LSTM보다 우수함을 보여준다.