[논문 리뷰] Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models

Roman Klokov, Victor Lempitsky|arXiv (Cornell University)|2017. 04. 04.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드를 구조화하고 균일한 격자에 의존하지 않고 계층적 특징 학습을 수행하는 딥러닝 아키텍처인 Kd-네트워크를 제안한다. 트리 노드 간에 파라미터를 공유하고 곱셈 변환을 적용함으로써, Kd-네트워크는 격자 기반 ConvNets에 비해 메모리 사용량을 줄이고 추론 속도를 높이며 3D 모양 분류, 검색, 부분 분할 작업에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

We present a new deep learning architecture (called Kd-network) that is designed for 3D model recognition tasks and works with unstructured point clouds. The new architecture performs multiplicative transformations and share parameters of these transformations according to the subdivisions of the point clouds imposed onto them by Kd-trees. Unlike the currently dominant convolutional architectures that usually require rasterization on uniform two-dimensional or three-dimensional grids, Kd-networks do not rely on such grids in any way and therefore avoid poor scaling behaviour. In a series of experiments with popular shape recognition benchmarks, Kd-networks demonstrate competitive performance in a number of shape recognition tasks such as shape classification, shape retrieval and shape part segmentation.

연구 동기 및 목표

• 3D 컨볼루션 네트워크가 포인트 클라우드 처리를 위해 균일한 바벨 격자에 의존함에 따라 발생하는 확장성과 효율성의 한계를 해결하기 위해.
• kd-트리와 같은 계층적 공간 색인화 구조가 기존 ConvNets가 격자를 기반으로 하듯이 딥러닝 아키텍처의 기초가 될 수 있는지 탐색하기 위해.
• kd-트리 분할 기반의 파라미터 공유 메커니즘을 설계하여 비구조적 포인트 클라우드에서 효과적인 계층적 특징 학습을 가능하게 하기 위해.
• 제안된 아키텍처를 표준 3D 인식 벤치마크에서 평가하기 위해, 분류, 검색, 부분 분할 작업을 포함한다.
• 트리 기반 아키텍처가 격자 기반 모델과 동등하거나 이를 초월하는 성능을 달성하면서도 메모리 소비량과 계산 시간을 줄일 수 있음을 입증하기 위해.

제안 방법

• Kd-네트워크 아키텍처는 3D 포인트 클라우드를 반복적으로 공간 부분집합으로 나누어 계층적 트리 구조를 형성하는 kd-트리를 사용한다.
• kd-트리의 각 내부 노드는 자식 노드의 특징에 대해 공유되고 학습 가능한 곱셈 변환을 적용하여 공간 분할 간의 파라미터 공유를 가능하게 한다.
• 네트워크는 하향식, 순차적인 방식으로 트리를 처리하며, kd-트리의 각 단계를 거쳐 계층적 표현을 구축한다.
• 특징 변환은 학습 가능한 가중치 행렬을 노드 표현에 곱하기 방식으로 구현되며, 각 레이어에 ReLU 비선형성과 배치 정규화가 적용된다.
• 부분 분할 작업을 위해, 12개의 레이어를 가진 깊은 아키텍처를 사용하고, 점차 증가하는 차원의 중간 표현을 가지며, 최종 분류기 헤드로는 3개의 완전 연결 레이어를 포함한다.
• 데이터 증강 및 다중 트리 추론(여러 개의 kd-트리 구축에서의 예측 평균화)을 사용하여 강인성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 kd-트리 기반의 계산 그래프는 3D 포인트 클라우드 인식을 위한 딥러닝에서 균일한 격자에 비해 효과적이고 확장 가능한 대안이 될 수 있는가?
• RQ2 kd-트리 노드 간의 파라미터 공유가 메모리 소비를 줄이며 3D 인식 작업에서 경쟁 가능한 성능을 달성하는 데 기여하는가?
• RQ3 Kd-네트워크의 성능는 분류, 검색, 부분 분할 작업에서 최신의 격자 기반 및 포인트 기반 모델과 비교해 어떻게 되는가?
• RQ4 kd-트리의 계층적 구조가 정확한 인식에 필요한 세밀한 기하학적 세부 정보를 어느 정도 유지하는가?
• RQ5 비트화 과정에서 발생하는 잡음과 비효율성을 피하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• Kd-네트워크는 ModelNet10과 ModelNet40 벤치마크에서 경쟁 가능한 성능를 보이며, ModelNet40에서 정확도가 91.7%에 도달하여 최신의 격자 기반 모델과 유사한 성능를 달성한다.
• SHREC’16 검색 벤치마크에서 Kd-네트워크는 평균 정밀도(mAP) 85.2%를 기록하여 여러 기준 모델을 능가한다.
• ShapeNet-part 데이터셋에서의 부분 분할 작업에서 Kd-네트워크는 평균 교차율(mIoU) 55.8%를 기록하였으며, 이는 경쟁 가능한 성능이지만 PointNet 성능보다는 약간 낮다.
• 단일 학습 예제의 메모리 사용량은 120MB 미만으로, 일반적인 격자 기반 모델보다 크게 낮아 효율성이 향상됨을 보여준다.
• 클래스 불균형에 강인하며 다양한 3D 형태로 일반화 성능이 뛰어나며, 분할 출력에서 기반 구조인 kd-트리의 명백한 잡음이나 왜곡이 관찰되지 않는다.
• ModelNet 벤치마크에서 Kd-네트워크는 OctNets와 엣지 의존성 기반 그래프 기반 ConvNets를 모두 능가하여, kd-트리가 거시적 수준의 형태 분류에 특히 적합함을 시사한다.