[논문 리뷰] Adaptive O-CNN: A Patch-based Deep Representation of 3D Shapes

Peng‐Shuai Wang, Chunyu Sun외 2명|arXiv (Cornell University)|2018. 09. 21.

3D Shape Modeling and Analysis참고 문헌 51인용 수 137

한 줄 요약

적응형 O-CNN은 패치 가이드형 적응 옥트리로 3D 형태를 인코딩하여 고해상도 3D 형태 인코딩/디코딩을 효율적으로 수행하고, 이전 옥트리/CNN 방식에 비해 형태 생성이 향상됩니다. 분류, 자동 인코딩, 단일 이미지 형태 예측 및 완성을 포함한 과제에서 메모리와 시간 절감을 달성하면서도 경쟁력 있는 정확도를 보입니다.

ABSTRACT

We present an Adaptive Octree-based Convolutional Neural Network (Adaptive O-CNN) for efficient 3D shape encoding and decoding. Different from volumetric-based or octree-based CNN methods that represent a 3D shape with voxels in the same resolution, our method represents a 3D shape adaptively with octants at different levels and models the 3D shape within each octant with a planar patch. Based on this adaptive patch-based representation, we propose an Adaptive O-CNN encoder and decoder for encoding and decoding 3D shapes. The Adaptive O-CNN encoder takes the planar patch normal and displacement as input and performs 3D convolutions only at the octants at each level, while the Adaptive O-CNN decoder infers the shape occupancy and subdivision status of octants at each level and estimates the best plane normal and displacement for each leaf octant. As a general framework for 3D shape analysis and generation, the Adaptive O-CNN not only reduces the memory and computational cost, but also offers better shape generation capability than the existing 3D-CNN approaches. We validate Adaptive O-CNN in terms of efficiency and effectiveness on different shape analysis and generation tasks, including shape classification, 3D autoencoding, shape prediction from a single image, and shape completion for noisy and incomplete point clouds.

연구 동기 및 목표

• 균일 해상도 벡셀(voxel)이나 고정 옥트리 방법을 넘어서도 효율적이고 고충실도의 3D 형태 표현 및 생성을 가능하게 하고 동기를 부여합니다.
• 적응형 옥트리 계층에 걸쳐 평면 패치 법선(normal)과 변위를 처리하는 인코더를 개발합니다.
• 옥턴트 점유 상태를 예측하고 로컬 평면 패치를 학습하여 형상을 재구성하는 디코더를 개발합니다.
• 분류, 자동인코딩, 단일 이미지 형상 예측 등 다양한 다운스트림 작업에서 효율성과 효과를 입증합니다.
• 적응형 패치 기반 옥트리가 유사한 방법들보다 더 낮은 메모리와 계산으로 고품질의 형상을 달성할 수 있음을 보여줍니다.

제안 방법

• 3D 형태에 대한 패치 가이드형 적응 옥트리 표현을 도입하여 비어 있지 않은 잎 옥턴트가 평면 패치를 저장합니다.
• 옥트리 세분화를 가이드하고 근사 품질을 보장하기 위해 Hausdorff 거리 기반 패치 근사 오차를 정의합니다.
• 로컬 평면 매개변수를 다중 레벨 CNN 처리 체계에 입력으로 포함시키며 적응 옥트리에서 작동하도록 O-CNN에서 영감을 받은 인코더를 확장합니다.
• 3D 디코더를 설계하여 (i) 옥턴트 상태(비어 있음, 표면-잘 근사, 표면-과소근사)를 예측하고 (ii) 잎 옥턴트의 평면 패라미터를 회귀하며 하위 디스센트를 정제하기 위해 디컨볼루션을 적용합니다.
• 구조 손실(옥턴트 상태에 대한 교차 엔트로피)과 패치 손실(Explicit d* 제약이 있는 평면 매개변수 회귀)을 결합한 공동 손실을 고용합니다.
• 이전 옥트리 CNN 인프라를 하향식 패치 기반 디코딩과 함께 하향식 피처 집계가 가능하도록 bottom-up 방식으로 조정하여 효율성 향상을 달성합니다.

실험 결과

연구 질문

• RQ1 패치 가이드형 적응 옥트리 표현이 균일한 보셀 또는 고정 깊이 옥트리보다 메모리와 계산을 줄이면서 고품질의 3D 형태를 만들어낼 수 있는가?
• RQ2 잎 옥턴트에서 패치 매개변수를 도입하면 재구성된 형상의 표면 선도와 디테일이 향상되는가?
• RQ3 Adaptive O-CNN은 형상 분류, 3D 자동인코딩, 단일 이미지 형상 예측 작업에서 최첨단 방법에 비해 얼마나 잘 수행하는가?
• RQ4 옥트리 깊이와 패치 충실도 variation에 따라 정확도와 효율성의 트레이드오프는 어떻게 나타나는가?
• RQ5 제안된 디코더가 옥턴트 점유를 신뢰성 있게 추정하고 적응 분할을 통해 watertight하고 고품질 표면을 생성할 수 있는가?

주요 결과

• Adaptive O-CNN은 해상도와 관계없이 O-CNN과 유사한 분류 정확도를 달성하면서도 특히 고해상도에서 메모리 및 계산 비용을 대폭 낮춘다(예: 2563 입력 대비 1283 입력에서의 메모리/시간 절감 언급).
• ModelNet40 분류에서 Adaptive O-CNN은 최첨단 방법과 경쟁력이 있으며, O-CNN과 유사한 정확도를 보이고 다른 강력한 기준선과 비슷한 흐름을 보인다.
• ShapeNet Core v2의 3D 자동인코딩에서 Adaptive O-CNN은 비교 대상 방법들(AtlasNet 변형 및 PSG) 중에서 평균적으로 Chamfer-거리 성능이 가장 우수하여 많은 카테고리에서 표면 해상도와 부피 구조 재구성 측면에서 더 높은 품질을 나타낸다.
• 디코더의 공동 구조 및 패치 손실은 얇은 부분을 다루는 데 있어 더 나은 성능을 보여주고, 패치 기반 또는 순수 Chamfer-거리 주도 접근에서 나타나는 왜곡을 줄여 부피 구조를 보존한다.
• 하나의 이미지에서의 형상 예측과 노이즈/불완전 포인트 클라우드에 대한 형상 완성을 입증하며, 패치 가이드형 적응 옥트리가 3D 형상 분석 및 생성의 일반적 프레임워크로 작용함을 확인한다.
• 이전 옥트리 기반 방법과 비교하여 패치 가이드형 적응은 희소성과 효율성을 높이되 형상 품질(정성적/정량적)을 희생하지 않는다.