[논문 리뷰] Deep Implicit Moving Least-Squares Functions for 3D Reconstruction

Shilin Liu, Haoxiang Guo외 4명|arXiv (Cornell University)|2021. 03. 23.

3D Shape Modeling and Analysis참고 문헌 53인용 수 8

한 줄 요약

이 논문은 고품질 3D 재구성에 대해 점 집합과 암묵적 이동 최소 제곱(Implied Moving Least Squares, IMLS) 표면을 결합한 딥러닝 프레임워크인 IMLSNets를 제안한다. 옥트리 구조의 디코더를 사용해 방향성을 가진 IMLS 점을 예측함으로써, 이 방법은 빠른 추론을 통해 매끄럽고 연속적인 표면을 생성하며, 벤치마크 데이터셋에서 재구성 품질과 효율성 면에서 최신 기술을 능가한다.

ABSTRACT

Point set is a flexible and lightweight representation widely used for 3D deep learning. However, their discrete nature prevents them from representing continuous and fine geometry, posing a major issue for learning-based shape generation. In this work, we turn the discrete point sets into smooth surfaces by introducing the well-known implicit moving least-squares (IMLS) surface formulation, which naturally defines locally implicit functions on point sets. We incorporate IMLS surface generation into deep neural networks for inheriting both the flexibility of point sets and the high quality of implicit surfaces. Our IMLSNet predicts an octree structure as a scaffold for generating MLS points where needed and characterizes shape geometry with learned local priors. Furthermore, our implicit function evaluation is independent of the neural network once the MLS points are predicted, thus enabling fast runtime evaluation. Our experiments on 3D object reconstruction demonstrate that IMLSNets outperform state-of-the-art learning-based methods in terms of reconstruction quality and computational efficiency. Extensive ablation tests also validate our network design and loss functions.

연구 동기 및 목표

• 딥러닝 기반 3D 모양 생성에서 기하학적 충실도와 계산 효율성 사이의 상충 관계를 해결한다.
• 기계학습 기반 3D 재구성에서 점 집합의 이산적이고 거친 성질을 극복하면서도, 전역 암묵 함수 평가의 높은 비용을 피한다.
• 암묵적 이동 최소 제곱(IMLS) 표면을 딥 네ural 네트워크에 통합하여 학습된 점 집합으로부터 매끄럽고 연속적인 표면 생성을 가능하게 한다.
• IMLS 점 예측 이후 표면 평가를 네트워크에서 분리함으로써 런타임 평가 속도를 향상시킨다.
• 옥트리를 사용해 학습 가능한 적응형 점 생성 전략을 설계하여 필요한 곳에만 IMLS 점을 배치함으로써 일반화 능력과 효율성을 향상시킨다.

제안 방법

• 변동 가능한 수의 방향성을 가진 점을 예측하기 위해 옥트리 기반의 디코더를 사용하여 IMLS 표면 구축을 위한 기초를 마련한다.
• 암묵적 이동 최소 제곱(IMLS) 공식을 적용하여 3D 점을 부호 거리로 매핑하는 局소 암묵 함수를 정의함으로써, 매끄러운 0차 수준 집합 표면을 가능하게 한다.
• 표면 기울기, 점 간 상호작용 방지, 투영의 매끄러움, 반경의 매끄러움을 포함한 다중 구성 요소 손실을 사용해 점 분포와 표면 품질을 정규화한다.
• supervision 및 평가를 옥트리 노드 위치에서만 수행함으로써, IMLS 표면의 국소성 특성을 활용해 계산 비용을 감소시킨다.
• IMLS 점 예측 이후 표면 평가를 네트워크에서 분리함으로써, 네트워크 재실행 없이도 각 점별로 빠른 평가가 가능하게 한다.
• 각 점에 대해 적응형 IMLS 반경을 사용하여 표면 근사치를 향상시키며, 특히 희소한 기초 구조에서의 성능 향상을 도모하고, 고정 반경 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 암묵적 이동 최소 제곱(IMLS) 표면이 딥러닝 프레임워크에 효과적으로 통합될 수 있는가? 이는 점 집합의 유연성과 암묵 함수의 매끄러움을 결합할 수 있는가?
• RQ2 IMLS 점 예측을 위한 옥트리 구조의 기초가 고정점 또는 조밀한 예측 방법에 비해 일반화 능력과 효율성을 향상시키는가?
• RQ3 옥트리 노드 위치에서 국소적 지도 학습이 조밀한 3D 도메인 샘플링을 대체할 수 있는가? 이는 학습 비용을 감소시키면서도 높은 재구성 품질을 유지할 수 있는가?
• RQ4 기울기, 상호작용 방지, 매끄러움 등의 다양한 손실 구성 요소가 표면의 세부 사항과 기하학적 정확도에 기여하는 정도는 어떠한가?
• RQ5 적응형 IMLS 반경 선택은 고정 반경 대비 희소하거나 불규칙하게 샘플링된 입력에서 재구성 품질을 향상시키는가?

주요 결과

• IMLSNet(7,7,1)은 ShapeNet 데이터셋에서 카프너 거리(CD) 0.031, F-스코어 0.983, IoU 0.913을 기록하여 최고의 재구성 품질을 달성했다.
• 절단 실험 결과, 표면 기울기 손실을 제거할 경우 성능 저하가 가장 크게 발생했으며, CD는 0.034로 증가하고 IoU는 0.897로 감소하여 표면 세부 사항 유지에 있어 이 손실의 핵심적 역할을 확인했다.
• 반경 매끄러움 항목은 영향도가 가장 낮다. 이를 제거해도 성능 저하가 미미하며, CD는 0.033, IoU는 0.902로 약간 감소하여 다른 구성 요소에 비해 덜 필수적임을 시사한다.
• 적응형 IMLS 반경 사용은 희소한 기초 구조에서 재구성 성능을 크게 향상시킨다. IMLSNet(7,7,1)은 고정 반경 기반 베이스라인 cr.(6,6,1)보다 더 낮은 CD(0.036)와 높은 IoU(0.880)를 기록하여 성능에서 앞서며, 이는 반경의 적응성 덕분임을 입증한다.
• 옥트리 기반 국소 암묵 함수 기반의 베이스라인은 가장 끝단 옥트리에서 0차 수준 집합이 통과하지 않을 수 있음을 보장하지 못해 구멍이 생기는 표면을 생성하지만, IMLSNets는 명시적 점 기반 IMLS 공식화를 통해 이 결함을 피한다.
• 런타임 평가는 IMLS 점 예측 이후 네트워크와 분리되어 있으므로, 각 점에 대해 네트워크를 재실행하지 않아도 되어 추론 속도가 매우 빠르며, 이는 기존의 암묵 함수 기반 방법에 비해 핵심적인 장점이다.