[논문 리뷰] Multiresolution Tree Networks for 3D Point Cloud Processing

Matheus Gadelha, Rui Wang외 1명|arXiv (Cornell University)|2018. 07. 10.

3D Shape Modeling and Analysis참고 문헌 4인용 수 42

한 줄 요약

MRTNet은 다중 해상도 트리 구조 네트워크를 도입하여 3D 포인트 클라우드를 처리하고, 보셀화나 뷰 기반 대리 표기 없이도 효과적이고 정확한 형태 분류 및 직접 포인트 클라우드 생성을 가능하게 하며, ModelNet40 및 ShapeNet 작업에서 강력한 성능을 보입니다.

ABSTRACT

We present multiresolution tree-structured networks to process point clouds for 3D shape understanding and generation tasks. Our network represents a 3D shape as a set of locality-preserving 1D ordered list of points at multiple resolutions. This allows efficient feed-forward processing through 1D convolutions, coarse-to-fine analysis through a multi-grid architecture, and it leads to faster convergence and small memory footprint during training. The proposed tree-structured encoders can be used to classify shapes and outperform existing point-based architectures on shape classification benchmarks, while tree-structured decoders can be used for generating point clouds directly and they outperform existing approaches for image-to-shape inference tasks learned using the ShapeNet dataset. Our model also allows unsupervised learning of point-cloud based shapes by using a variational autoencoder, leading to higher-quality generated shapes.

연구 동기 및 목표

• 보셀화나 뷰 기반 대리 표기에 의존하지 않고 3D 포인트 클라우드를 직접 처리하기 위해 다중 해상도, 트리 구조 네트워크를 개발한다.
• 인코더–디코더(및 VAE) 프레임워크를 통해 정확한 형태 분류, 이미지-형상 추론, 비지도 형태 학습을 가능하게 한다.
• 3단 스케일의 멀티 그리드 아키텍처를 통해 3D 구조를 1D 포인트 순서로 보존하면서 지역성 및 확장성을 유지한다.
• 학습 중 수렴 속도 및 메모리 사용량 감소를 위한 다중 해상도 처리의 이점을 조사한다.

제안 방법

• 3D 형태를 공간 분할 트리(KD-트리 또는 RP-트리)를 사용하여 다중 해상도로 지역성 보존이 가능한 1D 정렬 포인트 목록으로 표현한다.
• 1D 컨벌루션으로 1D 포인트 시퀀스를 처리하고, 업샘플링과 풀링을 통해 해상도 간 정보를 융합하는 3-스케일, 멀티그리드 MR-CONV 블록을 도입한다.
• 분류와 같은 작업을 위해 잠재 벡터 z(512-D)를 생성하는 인코더를 사용하고, ModelNet40 분류를 위한 완전 연결 계층을 부착한다.
• 체험적 거리를 손실로 사용하는 Chamfer 거리 기반 손실을 가능하게 하는 포인트 클라우드를 직접 생성하는 멀티 해상도 디코더(MR-CONV-T 블록)를 사용한다.
• 이미지-형상 추론을 위한 이미지 인코더(VGG-11)와의 Optional 조합으로 Chamfer 거리를 재구성 손실로 사용하며 학습한다.
• MR-VAE로 확장하여 인코더가 z를 출력하고 디코더가 포인트 클라우드를 재구성하는 비지도 학습을 수행하고, 가우시안 N(0,I)과의 모멘트 매칭 정규화기를 적용한다.

실험 결과

연구 질문

• RQ1 다중 해상도 트리 구조 표현이 단일 스케일 포인트 기반 모델에 비해 분류 정확도를 향상시킬 수 있는가?
• RQ2 MRTNet이 포인트 클라우드를 인코드/디코드하여 체계적으로 포인트-클라우드 생성을 가능하게 하고, 보셀화나 뷰 기반 합성 없이도 이미지-형상 추론을 수행할 수 있는가?
• RQ3 다중 해상도 아키텍처가 학습 중 수렴 속도와 메모리 효율성을 개선하는가?
• RQ4 MR-VAE를 통한 비지도 학습이 다운스트림 작업에 유용한 고품질 잠재 형태 표현을 생성할 수 있는가?
• RQ5 형상 분할 및 크로스 도메인 생성(예: 이미지-3D)에서 MRTNet의 성능은 기존 접근법에 비해 어떤가?

주요 결과

Method	Accuracy (ModelNet40)
MVCNN	90.1
MVCNN-MultiRes	91.4
KDNet (1K pts)	90.6
PointNet	89.2
PointNet++ (1K pts)	90.7
MRTNet (1K pts)	91.2
MRTNet (4K pts)	91.7
KDNet (32K pts)	91.8
PointNet++ (5K pts)	91.9
OctNet	86.5
O-CNN	90.6

• MRTNet은 4K 포인트를 사용할 때 ModelNet40에서 91.7%의 정확도를 달성하며, XYZ 데이터만 사용하는 여러 포인트 기반 방법보다 우수하다.
• 1K 포인트에서 MRTNet은 91.2%의 정확도에 도달하여 기초 단일 해상도 변형 및 다수의 이전 포인트 기반 구조를 능가한다.
• 다중 해상도 디코더는 포인트 클라우드를 직접 생성할 수 있게 하며, ShapeNet에서 Chamfer 거리 손실을 사용하여 다른 이미지-형상 접근법보다 더 높은 품질의 형태를 제공한다.
• 비지도 MR-VAE 학습은 MR-VAE 인코더의 특징을 다운스트림 분류에 사용하여 86.4% 정확도를 달성하였고, 학습된 표현이 강력함을 시사한다.
• MR-Net 변형은 단일 스케일 기준선 대비 수렴 속도가 빨라지고 메모리 사용량이 감소하는 반면, 작업 전반에 걸쳐 정확도를 유지하거나 향상시킨다.
• 정성적 결과는 MRTNet이 생성된 포인트 클라우드에서 일관된 공간 구조를 유지하고 잠재 공간에서 형태 간 보간이 가능함을 보여준다.