[논문 리뷰] Learning 3D Shapes as Multi-Layered Height-maps using 2D Convolutional Networks

Kripasindhu Sarkar, Basavaraj Hampiholi외 2명|arXiv (Cornell University)|2018. 07. 23.

3D Shape Modeling and Analysis참고 문헌 28인용 수 6

한 줄 요약

이 논문은 3D 모양을 위한 다층 고도맵(Multi-Layered Height-Map, MLH) 표현을 제안하여, 복합적인 볼륨화 없이도 효율적인 2D 컨volution 신경망(CNN)이 기하학적 특징을 학습할 수 있도록 한다. 각 격자 점당 다중 고도맵 레이어를 저장하고, 새로운 융합 기법을 통해 다중 시점 기반 기술자를 융합함으로써, 볼륨화 비용이 높은 볼륨 그리드를 피하면서도, 메모리 효율성이 OctNet과 유사한 수준인 ModelNet40에서 최고 성능인 90.97%의 정확도를 달성한다. 또한 다중 시점 GAN을 통해 분류 및 3D 모양 생성 기능을 동시에 지원한다.

ABSTRACT

We present a novel global representation of 3D shapes, suitable for the application of 2D CNNs. We represent 3D shapes as multi-layered height-maps (MLH) where at each grid location, we store multiple instances of height maps, thereby representing 3D shape detail that is hidden behind several layers of occlusion. We provide a novel view merging method for combining view dependent information (Eg. MLH descriptors) from multiple views. Because of the ability of using 2D CNNs, our method is highly memory efficient in terms of input resolution compared to the voxel based input. Together with MLH descriptors and our multi view merging, we achieve the state-of-the-art result in classification on ModelNet dataset.

연구 동기 및 목표

• 2D CNN에 호환 가능한 기하학 중심의 3D 모양 표현을 개발하여, 볼륨 그리드의 높은 메모리 비용을 피하고자 한다.
• 새로운 시점 융합 기법을 사용해 다중 시점 3D 모양 정보를 효과적으로 융합하여 분류 성능을 향상시키고자 한다.
• OctNet과 같은 고급 3D CNN과 유사한 메모리 효율성을 유지하면서도 3D 모양 분류에서 최고 성능을 입증하고자 한다.
• MLH 기술자를 활용한 다중 시점 GAN 아키텍처를 통해 3D 모양 생성의 가능성을 탐색하고자 한다.

제안 방법

• 각 격자 점이 다중 고도값을 저장하여 가려진 표면 세부 정보를 인코딩할 수 있도록 3D 모양을 다층 고도맵(MLH)으로 표현한다.
• 메esh 토폴로지나 사전 처리 없이도 포인트 클라우드에서 직접 MLH 기술자를 구축한다.
• 각 MLH 기술자에 대해 2D CNN(VGG-16)를 적용하여 2D 격자 표현으로부터 국소적 및 전역적 특징을 추출한다.
• 세 가지 다른 시점에서의 특징을 단일 압축된 기술자로 융합하기 위해 비가환적인 융합 연산을 갖춘 다중 시점 CNN을 설계한다.
• 공유된 생성기 브랜치와 다중 시점 판별기로 구성된 다중 시점 GAN(MV-DCGAN)을 사용하여 잠재 노이즈에서 MLH 기술자를 활용해 3D 모양을 생성한다.
• 생성기에서는 역전치 컨볼루션을, 판별기에서는 표준 컨볼루션을 사용하며, 각 브랜치에 대해 5개의 블록을 사용해 상향 및 하향 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 다층 고도맵 표현에 2D CNN을 적용했을 때, 3D 모양 특징을 효과적으로 학습할 수 있는가?
• RQ2 제안된 다중 시점 융합 기법은 단일 시점 또는 단순 평균화 방법에 비해 분류 정확도를 뚜렷이 향상시키는가?
• RQ3 MLH 기술자는 볼륨 기반 또는 메쉬 기반 방법과 비교해도 분류 및 3D 모양 생성 작업 모두에서 유사한 성능을 달성할 수 있는가?
• RQ4 고해상도 입력에서 특히, MLH 기반 2D CNN의 메모리 효율성은 OctNet과 같은 최고 수준의 3D CNN과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 단일 시점 MLH 기술자와 VGG-16를 사용해 ModelNet40 데이터셋에서 90.97%의 분류 정확도를 달성하였으며, 이는 이전 방법들을 초월한다.
• 비가환적 융합을 갖춘 다중 시점 CNN은 ModelNet40에서 90.72%의 정확도를 기록하여, 제안된 융합 전략의 효과성을 입증한다.
• 단일 시점 MLH 기반 네트워크의 메모리 프로파일은 배치 크기가 32일 때 GeForce GTX 1080 Ti에서 약 8GB로, OctNet256와 유사한 수준이며, 더 단순한 2D CNN을 사용함에도 불구하고 동등한 성능을 보인다.
• 다중 시점 GAN(MV-DCGAN)은 의자와 자동차의 질적 결과를 통해 일관된 기하학적 특징을 갖는 3D 모양을 성공적으로 생성하였다.
• MLH 기술자는 효과적인 3D 모양 생성을 가능하게 하여, MLH 데이터의 2D 격자에 기반한 2D CNN이 복잡한 작업을 수행하기에 충분한 기하학적 정보를 유지하고 있음을 시사한다.