[논문 리뷰] Fully Convolutional Mesh Autoencoder using Efficient Spatially Varying Kernels

Yi Zhou, Chenglei Wu외 6명|arXiv (Cornell University)|2020. 06. 08.

3D Shape Modeling and Analysis참고 문헌 29인용 수 47

한 줄 요약

비템플릿에 의존하지 않는, 완전 컨볼루션 메시 자동인코더가 전역 가중치 기저와 로컬 계수에서 학습된 공간적으로 가변 커널로 다양한 메시 형식(사면체 및 비다중체 메시 포함)에 대해 최첨단 재구성을 달성한다.

ABSTRACT

Learning latent representations of registered meshes is useful for many 3D tasks. Techniques have recently shifted to neural mesh autoencoders. Although they demonstrate higher precision than traditional methods, they remain unable to capture fine-grained deformations. Furthermore, these methods can only be applied to a template-specific surface mesh, and is not applicable to more general meshes, like tetrahedrons and non-manifold meshes. While more general graph convolution methods can be employed, they lack performance in reconstruction precision and require higher memory usage. In this paper, we propose a non-template-specific fully convolutional mesh autoencoder for arbitrary registered mesh data. It is enabled by our novel convolution and (un)pooling operators learned with globally shared weights and locally varying coefficients which can efficiently capture the spatially varying contents presented by irregular mesh connections. Our model outperforms state-of-the-art methods on reconstruction accuracy. In addition, the latent codes of our network are fully localized thanks to the fully convolutional structure, and thus have much higher interpolation capability than many traditional 3D mesh generation models.

연구 동기 및 목표

• 등록된 메시의 일반적 토폴로지(비다중체 메시지 포함)에 대한 잠재 표현 학습 동기 부여.
• UV 매핑이나 템플릿 없이 임의의 메시에 대해 템플릿-프리이며 완전 컨볼루션 오토인코더를 개발.
• 비정형 메시 연결성을 다루는 효율적인 국소 가변 컨볼루션 및 풀링 연산자를 도입하여 매개변수를 전역적으로 공유하고자 함.

제안 방법

• 가중치가 공유 기저 B에 있고 이웃마다 로컬로 변형된 계수 AV,i,j에 의해 샘플링되는 컨볼루션 및 전치 컨볼루션인 vcConv 및 vcTransConv 정의.
• 가중치 기저 B를 M개로 사용; 이웃마다의 가중치 W_{i,j} = sum_k α_{i,j,k} B_k로 매개변수 수를 줄임.
• irregular 샘플링을 보정하기 위해 풀링/언풀링에 변형 밀도 ρ'를 도입; ρ'는 이웃 간에 정규화됨.
• 학습 가능한 밀도 ρ를 갖춘 몬테카를로 영감의 vdPool 및 vdUnpool을 사용한 특징 집계.
• vcConv/vcTransConv + vdDownRes/vdUpRes로 구성된 잔차 블록으로 완전 컨볼루션 오토인코더를 구성하여 완전 연결 계층 없이 다운/업샘플링 가능.
• 의미론적으로 의미 있는 위치(예: 머리, 몸통, 팔다리)에 잠재 정점을 배치하고 이들의 잠재 코드를 보간하여 국소적 잠재 특징 보간을 가능하게 함.

실험 결과

연구 질문

• RQ1 템플릿-프리이며 완전 컨볼루션인 메시 오토인코더가 임의의 메시 토폴로지(사면체 및 비다중체 메시지 포함)에 대해 최첨단 재구성을 달성할 수 있는가?
• RQ2 전역 가중치 기저와 로컬로 학습된 계수를 가진 공간적으로 가변 컨볼루션 커널이 기존 그래프/컨볼루션 연산에 비해 우수한 재구성 품질과 메모리 효율성을 제공하는가?
• RQ3 모델이 의미론적으로 뜻깊은 메시 영역 제어를 위한 국소적 잠재 코드 보간을 지원하는가?
• RQ4 다양한 풀링/언풀링 전략과 커널 기저 크기가 재구성 정확도와 메모리 사용량에 미치는 영향은 무엇인가?

주요 결과

모델	학습 (mm) 오차	검증 (mm) 오차	매개변수 (백만)	학습 메모리 (GiB)
Ours	3.73	5.01	1.9	1.1
Neural3DMM	3.29	4.73	2.0	1.2
3DMM	3.73	5.01	1.9	2471Mib
MeshCNN	4.57	5.63	1.4	4183Mib
0. 전체 모델 비교	13.25	14.29	1.4	4183Mib

• 제안된 vcConv/vcTransConv가 전역 가중치 기저와 로컬 변형 계수로 D-FAUST에서 최첨단 재구성을 달성하고 사면체 및 비다중체 메시로 일반화한다.
• 모델은 다운/업샘플링 및 전치 컨볼루션을 지원하여 정적 템플릿 없이 엔드-투-엔드 완전 컨볼루션 오토인코더를 가능하게 한다.
• 학습된 변형 밀도 ρ를 가진 vdPool 및 vdUnpool은 불규칙 메시에서 풀링의 안정성을 개선하고 간단한 최대/평균 풀링보다 우수하다.
• 잠재 정점을 의미론적으로 의미 있는 위치(머리, 사지, 몸통)에 배치하고 그들의 잠재 코드를 보간하여 특정 포즈/표면 편집을 가능하게 한다.
• D-FAUST에서 제안한 방법은 비교 가능한 Bottleneck 크기에서 Neural3DMM 및 MeshCNN보다 학습 및 테스트 오차가 더 낮다; 비교 표는 제안 방법의 우수한 지표를 보여준다.
• 자연스러운 로컬 연결 계층보다 매개변수가 현저히 적은 상태에서 정밀도 유지 또는 향상을 보임; LCConv는 매개변수 집약적이어서 이 설정에서는 성능이 더 떨어진다.