[논문 리뷰] Fully-Convolutional Point Networks for Large-Scale Point Clouds

Dario Rethage, Johanna Wald외 3명|arXiv (Cornell University)|2018. 08. 21.

3D Shape Modeling and Analysis참고 문헌 18인용 수 20

한 줄 요약

이 논문은 비정렬 3D 포인트 클라우드를 효율적인 3D 컨볼루션 처리를 위해 내부적으로 정렬된 바이얼러스 그리드로 변환하는 새로운 아키텍처인 풀리-컨볼루셔널 포인트 네트워크(FCPN)를 소개한다. 이 방법은 대규모 포인트 클라우드(최대 200만 개 포인트)에서 엔드 투 엔드, 단일 패스 추론을 가능하게 하며, 의미 분할 및 3D 장면 캡션에서 최신 기술 수준의 성능을 달성하면서도 메모리 효율성과 공간적으로 순서가 정리된 출력을 유지한다.

ABSTRACT

This work proposes a general-purpose, fully-convolutional network architecture for efficiently processing large-scale 3D data. One striking characteristic of our approach is its ability to process unorganized 3D representations such as point clouds as input, then transforming them internally to ordered structures to be processed via 3D convolutions. In contrast to conventional approaches that maintain either unorganized or organized representations, from input to output, our approach has the advantage of operating on memory efficient input data representations while at the same time exploiting the natural structure of convolutional operations to avoid the redundant computing and storing of spatial information in the network. The network eliminates the need to pre- or post process the raw sensor data. This, together with the fully-convolutional nature of the network, makes it an end-to-end method able to process point clouds of huge spaces or even entire rooms with up to 200k points at once. Another advantage is that our network can produce either an ordered output or map predictions directly onto the input cloud, thus making it suitable as a general-purpose point cloud descriptor applicable to many 3D tasks. We demonstrate our network's ability to effectively learn both low-level features as well as complex compositional relationships by evaluating it on benchmark datasets for semantic voxel segmentation, semantic part segmentation and 3D scene captioning.

연구 동기 및 목표

• 대규모 비정렬 3D 포인트 클라우드를 효율적으로 처리할 수 있는 일반 목적의 딥 러닝 아키텍처를 개발하는 것.
• 기존 방법들이 입력을 정렬된 격자로 제한하거나 순수하게 비순서 포인트 세트에서만 작동하는 한계를 극복하는 것.
• 사전 처리 또는 사후 처리 단계 없이 원시 포인트 클라우드에서 엔드 투 엔드 학습을 가능하게 하는 것.
• 다양한 공간 척도에서 전역 및 국소 특징 학습을 지원하여 다양한 3D 이해 작업에 활용할 수 있도록 하는 것.
• 의미 분할 외에도 3D 장면 캡션과 같은 응용 분야에 적용 가능함을 입증하여, 공간적으로 일관되고 시점 인식이 가능한 기술을 생성하는 것.

제안 방법

• 네트워크는 비정렬 3D 포인트 클라우드를 입력으로 받아 내부적으로 구조화된 3D 바이얼러스 그리드로 변환하여 3D 컨볼루션 처리를 수행한다.
• 하이브리드 아키텍처를 활용한다: 입력은 비구조화된 포인트 클라우드이지만, 내부 표현은 바이얼라이제이션을 통해 정렬되어 효율적인 3D 컨볼루션을 가능하게 한다.
• 다중 척도 추출 및 업샘플링을 수행하는 풀리-컨볼루셔널 인코더-디코더 구조를 사용하여 공간 해상도와 맥락을 유지한다.
• 특징 학습은 3D 컨볼루션 레이어 이후 1×1×1 컨볼루션을 통해 차원을 감소시키고 표현 능력을 향상시킨다.
• 잠재 공간에서의 최소 거리 이웃 보간법을 사용하여 특징을 원본 포인트 클라우드 해상도로 다시 전파한다.
• 3D 캡션을 위해 최종 레이어는 완전 연결 레이어로 대체되며, 의미 분할 백본은 고정된 채로 캡션 헤드만 미세조정한다.

실험 결과

연구 질문

• RQ1 비순서 포인트 클라우드를 직접 처리하면서도 3D 컨볼루션의 효율성을 활용할 수 있는 풀리-컨볼루셔널 네트워크를 설계할 수 있는가?
• RQ2 제안된 하이브리드 아키텍처는 순수하게 포인트 기반 또는 순수하게 바이얼 기반 네트워크와 비교해 성능 및 확장성 측면에서 어떻게 다른가?
• RQ3 네트워크는 공간적으로 일관되고 시점 인식이 가능한 3D 장면 기술을 생성할 수 있는가? 이를 통해 고차원의 장면 이해가 가능해지는가?
• RQ4 메모리 오버헤드를 최소화하면서도 대규모 포인트 클라우드(예: 전체 방)에 대해 얼마나 잘 스케일링되는가?
• RQ5 바이얼라이제이션을 통한 내부 특징 정렬이 직접 포인트 기반 처리보다 특징 학습을 향상시키는가?

주요 결과

• FCPN은 ShapeNet 파트 분할 벤치마크에서 최신 기술 수준의 성능을 달성하여 16개 카테고리 중 12개에서 기존 방법을 초월했으며, 평균 mIoU는 84.0을 기록했다.
• ScanNet 데이터셋에서 의미 있는 바이얼 레이블링을 위한 포인트 클라우드 처리 시, 최대 20만 개 포인트의 포인트 클라우드를 단일 패스로 처리하며 Titan Xp에서 추론 시간은 9.1초에 불과했다.
• 공간 범위가 5배 커지고 포인트 수가 10배 증가한 경우에도 메모리 소비가 오직 40% 증가하여 강력한 확장성을 입증했다.
• 네트워크는 공간적으로 순서가 정리된 출력을 생성하여, 맥락적으로 관련성 있고 시점 인식이 가능한 기술을 포함한 성공적인 3D 장면 캡션을 가능하게 했다.
• 모델은 척도 간 일반화 능력이 뛰어나, 소규모 영역(예: 2.4×2.4×2.4 m)에서 훈련한 후 재학습 없이도 더 큰 장면에 적용할 수 있었다.
• 제거 실험을 통해 내부 바이얼라이제이션과 3D 컨볼루션 처리가 포인트 전용 기준 모델 대비 특징 학습을 크게 향상시킨다는 것이 확인되었다.