[논문 리뷰] Octree guided CNN with Spherical Kernels for 3D Point Clouds

Huan Lei, Naveed Akhtar외 1명|arXiv (Cornell University)|2019. 02. 28.

3D Shape Modeling and Analysis참고 문헌 39인용 수 18

한 줄 요약

이 논문은 3D 포인트 클라우드 처리를 위한 새로운 옥트리 기반 CNN을 제안하며, 구형 컨볼루션 커널을 사용하여 동적 커널 생성 없이도 효율적이고, 이동 불변성 및 비대칭 특징 학습이 가능하다. 계층적 공간 분할과 범주 기반 커널 가중치를 활용하여 ShapeNet과 RueMonge2014에서 3D 분류 및 의미적 세그멘테이션 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose an octree guided neural network architecture and spherical convolutional kernel for machine learning from arbitrary 3D point clouds. The network architecture capitalizes on the sparse nature of irregular point clouds, and hierarchically coarsens the data representation with space partitioning. At the same time, the proposed spherical kernels systematically quantize point neighborhoods to identify local geometric structures in the data, while maintaining the properties of translation-invariance and asymmetry. We specify spherical kernels with the help of network neurons that in turn are associated with spatial locations. We exploit this association to avert dynamic kernel generation during network training that enables efficient learning with high resolution point clouds. The effectiveness of the proposed technique is established on the benchmark tasks of 3D object classification and segmentation, achieving new state-of-the-art on ShapeNet and RueMonge2014 datasets.

연구 동기 및 목표

• 정규 격자 구조가 없는 비정규적인 3D 포인트 클라우드에 표준 CNN을 적용하는 데 도전하는 것.
• 높은 메모리 사용, 동적 커널 생성, 비용이 많이 드는 K-NN/범위 검색 등의 기존 방법의 한계를 극복하는 것.
• 3D 공간에서 이동 불변성과 비대칭성을 유지하면서 기하학적으로 의미 있는 컨볼루션 커널을 설계하는 것.
• 반복적인 이웃점 검색을 옥트리 기반 공간 분할로 대체하여 고해상도 포인트 클라우드의 효율적 처리를 가능하게 하는 것.
• 정규 벡터 계산이나 복잡한 그래프 구축에 의존하지 않고도 벤치마크 3D 포인트 클라우드 작업에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 각 점 주변의 3D 공간을 체적 빈으로 분할하고, 각 빈에 학습 가능한 가중치 행렬을 연결하는 구형 컨볼루션 커널을 제안한다.
• 옥트리 분할을 사용하여 포인트 클라우드를 계층적으로 군집화하며, 각 네트워크 레이어가 옥트리의 한 수준에 해당한다.
• 각 네트워크 뉴런을 옥트리 내의 공간 위치와 연결하여, 학습 중 동적 커널 생성이 필요 없도록 한다.
• 이웃 점들에 대해 구형 커널을 비대칭적으로 적용하여, 압축된 표현 학습을 위해 표준 2D CNN의 동작 방식을 모방한다.
• K-NN 및 범위 검색을 피하기 위해 옥트리 구조에서 직접 이웃 점 집합을 구성하여 계산 비용을 감소시킨다.
• 특징 맵이 각 옥트리 수준에서 구형 컨volution을 통해 점차 해상도가 감소하도록 다층 네트워크 아키텍처(Ψ-CNN)를 구성한다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에서 이동 불변성과 비대칭성을 유지하면서도 효율적 학습이 가능한 구형 컨볼루션 커널을 설계할 수 있는가?
• RQ2 옥트리 기반 공간 분할이 K-NN나 범위 검색을 대체하여 3D CNN의 이웃점 계산 효율성을 향상시킬 수 있는가?
• RQ3 옥트리 내 고정된 공간 위치에 커널을 연결함으로써 학습 중 동적 커널 생성이 필요 없어지는가?
• RQ4 이 방법이 3D 포인트 클라우드 분류 및 세그멘테이션 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 PointNet++ 및 OctNet과 같은 기존 방법과 비교해 볼 때, 제안된 방법의 추론 시간과 메모리 사용량은 어떻게 스케일링되는가?

주요 결과

• 제안된 Ψ-CNN는 3D 객체 분류 작업에서 ModelNet40에서 86.8%의 정확도를 달성하여 PointNet++을 포함한 이전 방법들을 초월한다.
• ShapeNet 파트 세그멘테이션 벤치마크에서 84.7%의 mIoU를 기록하여 새로운 최신 기술 수준의 성능을 수립한다.
• 실세계 데이터셋인 RueMonge2014에서의 의미적 세그멘테이션 작업에서는 총 정확도 83.5%와 평균 IoU 63.6%를 달성하여, 20개의 파rametric 레이어를 가진 OctNet을 능가한다.
• 10,000점 포인트 클라우드의 샘플 테스트 시간은 34.1ms(옥트리 생성 3.5ms, 순방향 전파 30.6ms)로, 높은 해상도임에도 불구하고 효율성을 입증한다.
• 정규 벡터 계산을 완전히 회피하면서도 경쟁 가능한 성능을 달성하여 입력 특징에 대한 강건성을 시사한다.
• 시간 측정 결과, 특히 대규모 포인트 클라우드에서 옥트리 기반 이웃점 계산이 K-NN 및 범위 검색보다 훨씬 빠른 것으로 나타났다.