[논문 리뷰] A Simple and Scalable Shape Representation for 3D Reconstruction

Mateusz Michalkiewicz, Eugene Belilovsky외 2명|arXiv (Cornell University)|2020. 05. 10.

3D Shape Modeling and Analysis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 서피스에서의 거리에 기반한 서명 거리 함수(SDF)에 대한 주성분 분석(PCA)을 사용하여 간단하고 확장 가능한 3D 모양 표현인 eigenSDF를 제안한다. 이는 선형 디코더를 사용하여 고해상도 3D 재구성 성능을 달성한다. 이 방법은 ShapeNet 벤치마크에서 최신 기술 성능을 기록하며, 복잡한 CNN 기반 디코더를 능가하고 고해상도로의 효율적 확장성을 유지하면서 국소적 일관성을 확보한다.

ABSTRACT

Deep learning applied to the reconstruction of 3D shapes has seen growing interest. A popular approach to 3D reconstruction and generation in recent years has been the CNN encoder-decoder model usually applied in voxel space. However, this often scales very poorly with the resolution limiting the effectiveness of these models. Several sophisticated alternatives for decoding to 3D shapes have been proposed typically relying on complex deep learning architectures for the decoder model. In this work, we show that this additional complexity is not necessary, and that we can actually obtain high quality 3D reconstruction using a linear decoder, obtained from principal component analysis on the signed distance function (SDF) of the surface. This approach allows easily scaling to larger resolutions. We show in multiple experiments that our approach is competitive with state-of-the-art methods. It also allows the decoder to be fine-tuned on the target task using a loss designed specifically for SDF transforms, obtaining further gains.

연구 동기 및 목표

• 고해상도 3D 재구성에서 3D CNN 기반 오토인코더의 확장성과 계산 비효율성 문제를 해결하기 위해.
• 효율적인 모양 표현과 함께 간단한 선형 디코더가 경쟁 가능한 성능을 낼 수 있는지 탐색하기 위해.
• PCA로 학습된 잠재 SDF 표현이 단일 시각 재구성 및 모양 보완과 같은 후속 작업에 효과적으로 기여할 수 있는지 보여주기 위해.
• 복잡한 딥러닝 아키텍처를 피하는 간단하고 강력한 3D 모양 학습 기반 모델을 제공하기 위해.
• 3D 모양 재구성 모델을 더 잘 평가하기 위해 더 복잡한 벤치마크가 필요하다는 점을 제안하기 위해.

제안 방법

• 핵심 형태 표현으로 서명 거리 함수(SDF)를 사용하여 표면으로부터의 거리에 기반한 기하학적 구조를 인코딩한다.
• SDF 데이터셋에 주성분 분석(PCA)을 적용하여 저차원 잠재 형태 표현을 학습한다.
• 학습된 잠재 코드에서 PCA 기저 벡터를 사용해 SDF 공간으로 다시 투영함으로써 선형 디코더가 3D 형태를 재구성한다.
• SDF 변환에 특화된 맞춤형 손실 함수를 사용해 디코더를 미세조정함으로써 재구성 품질을 향상시킨다.
• ShapeNet 데이터셋을 사용해 단일 시각 3D 재구성 및 모양 보완 작업에서 방법을 평가한다.
• 학습 및 추론을 최대 256³ 해상도에서 수행하여 기존 바이트 기반 방법을 초월한 확장성을 입증한다.

실험 결과

연구 질문

• RQ1 SDF 기반 잠재 표현과 함께 단순한 선형 디코더가 경쟁 가능한 3D 재구성 성능를 달성할 수 있는가?
• RQ2 SDF에 대한 PCA 기반 차원 축소가 후속 작업에 대해 강건하고 일반화 가능한 잠재 형태 코드를 제공하는가?
• RQ3 이러한 방법은 CNN 기반 디코더 모델과 비교해 어떤 식으로 해상도 확장이 이루어지는가?
• RQ4 이 방법은 재구성 품질과 효율성 측면에서 복잡한 딥러닝 아키텍처를 능가할 수 있는가?
• RQ5 SDF 전용 손실 함수를 사용한 미세조정이 재구성 정확도에 어떤 영향을 미치는가?

주요 결과

• eigenSDF는 ShapeNet 자동차 카테고리에서 IoU 0.758과 F-score 0.529를 기록하여 Deep Level Sets 및 선형 오토인코더를 포함한 최신 기술 방법들을 능가한다.
• CNN 기반 디코더가 계산 비용으로 인해 비현실적이게 되는 256³ 해상도까지 학습이 가능함을 입증했다.
• SDF 전용 손실 함수를 사용한 미세조정으로 F-score가 0.484에서 0.529로 향상되어 작업에 특화된 적응의 이점이 입증되었다.
• 복잡한 형태에서 특히, 더 높은 해상도와 안정적인 디코딩 덕분에 Deep Level Sets보다 더 높은 국소적 일관성을 가진 재구성을 생성한다.
• 정성적 결과에서는 eigenSDF 잠재 공간에서의 조건 없는 생성이 복잡한 GAN 및 VAE의 결과와 유사한 신뢰할 수 있는 3D 형태를 생성함을 보였다.
• 밀도 있는 CNN 디코더에 비해 훨씬 빠른 학습 시간을 확보했으며, 128³ 해상도에서 10배의 속도 향상을 관측했다.