[논문 리뷰] On the Effectiveness of Weight-Encoded Neural Implicit 3D Shapes

Thomas Davies, Derek Nowrouzezahrai외 1명|arXiv (Cornell University)|2020. 09. 17.

3D Shape Modeling and Analysis참고 문헌 24인용 수 41

한 줄 요약

이 논문은 가중치 인코딩 신경 임플리트를 3D 형태 표현의 일급 대체로 삼고, 이들이 높은 표면 정확도, 견고한 성능 및 컴팩트한 메모리 사용을 달성해 잠재적으로 인코딩된 접근 방식보다 우수하다는 점을 보여준다. 또한 콤팩트한 8-layer 네트워크, 중요도 샘플링이 포함된 적분 손실, 그리고 폴리곤 메시에 대한 강력한 압축 및 빠른 렌더링을 입증한다.

ABSTRACT

A neural implicit outputs a number indicating whether the given query point in space is inside, outside, or on a surface. Many prior works have focused on _latent-encoded_ neural implicits, where a latent vector encoding of a specific shape is also fed as input. While affording latent-space interpolation, this comes at the cost of reconstruction accuracy for any _single_ shape. Training a specific network for each 3D shape, a _weight-encoded_ neural implicit may forgo the latent vector and focus reconstruction accuracy on the details of a single shape. While previously considered as an intermediary representation for 3D scanning tasks or as a toy-problem leading up to latent-encoding tasks, weight-encoded neural implicits have not yet been taken seriously as a 3D shape representation. In this paper, we establish that weight-encoded neural implicits meet the criteria of a first-class 3D shape representation. We introduce a suite of technical contributions to improve reconstruction accuracy, convergence, and robustness when learning the signed distance field induced by a polygonal mesh -- the _de facto_ standard representation. Viewed as a lossy compression, our conversion outperforms standard techniques from geometry processing. Compared to previous latent- and weight-encoded neural implicits we demonstrate superior robustness, scalability, and performance.

연구 동기 및 목표

• 가중치 인코딩 신경 임플리트가 3D 형태 표현의 일급 대체로 작동할 수 있음을 보여준다.
• 높은 정확도로 메시를 가중치 인코딩 신경 임플리트로 변환하기 위한 아키텍처와 학습 체계를 개발한다.
• 전통적 메시 및 격자 기반 SDF 표현에 비해 압축 및 속도상의 이점을 입증한다.
• 실세계 데이터셋(예: Thingi10k)에서 견고성과 확장성을 평가한다.

제안 방법

• 단일 형상을 가중치 인코딩 임플리트로 인코딩하기 위해 8층의 피드포워드 네트워크와 숨겨진 크기 32를 사용한다(잠재 벡터 없음).
• 점유(occupancy) 대신 표면에 직접적인 그래픽 활용을 위해 메시 표면에 서명된 거리장(SDF)을 회귀한다.
• 공간에 대한 적분으로 정의된 손실을 지수 가중치 w(x)=exp(-β|gS(x)|)로 정의하여 근표면 샘플링을 임의의 점 샘플링 편향 없이 달성한다.
• 적분 손실을 근사하기 위해 w에 비례하는 분포에서 샘플을 뽑아 중요도 샘플링을 적용한다.
• 수렴 타이밍을 위해 간단하고 효율적인 CUDA 기반 파이프라인과 동적 배치를 사용한 구 추적(sphere tracing)으로 렌더링한다.
• 실세계(mesh)에서의 강건성을 입증하기 위해 강건한 insideness 테스트(일반화된 와인딩 넘버)와 필요 시 부호 없는 거리(unsigned distance) 처리를 사용한다.

실험 결과

연구 질문

• RQ1 가중치 인코딩 신경 임플리트가 잠재 코드 없이 3D 형태의 일급 표현으로 신뢰성 있게 representable할 수 있는가?
• RQ2 가중치 인코딩 표현이 정확도, 견고성, 메모리 사용 측면에서 잠재 인코딩 방식 및 격자 기반 SDF 표현과 어떻게 비교되는가?
• RQ3 대규모 현실 세계 메시 데이터셋의 강건한 재구성 및 확장 가능한 처리에 어떤 아키텍처와 학습 전략이 필요하고 활용되는가?
• RQ4 대규모 메시지 데이터셋(예: Thingi10k)을 합리적인 시간과 저장 예산으로 가중치 인코딩 임플리트로 변환하는 것이 가능한가?
• RQ5 그래픽 파이프라인에서 가중치 인코딩 임플리트의 실용적인 렌더링 및 조작 이점(CSG 등)은 무엇인가?

주요 결과

• 가중치 인코딩 신경 임플릿은 잠재 벡터 없이 단일 형상을 인코딩할 수 있으며, θ로 매개된 3D 표면은 fθ의 0집합으로 형성된다.
• 8-layer, 32-neuron 네트워크(7553 weights; ~59 kB)는 재구성 정확도, 렌더링 속도 및 메모리 사용의 균형을 우수하게 달성한다.
• 중요도 샘플링이 포함된 제시된 적분 손실은 이전 샘플링 체계 대비 수렴 및 표면 정확도를 향상시키며, Thingi10k에서 Park et al. 2019 대비 약 ~5% 표면 오차 개선을 보인다.
• Thingi10k 데이터셋을 38.85 GB에서 590 MB(1:66 압축)로 압축한다; DeepSDF는 7 MB로 압축되나 실제 세계의 제약 없는 데이터에서는 품질이 낮아진다.
• P100에서 512×512 렌더링 시 단일 임플리트에 대해 약 34 Hz 프레임 속도를 달성하며 CUDA 기반 시각화로 구 추적을 사용한다.
• 가중치 인코딩 임플리트는 균일 격자나 차감된 메시지와 비교해 더 나은 표면 섬세도와 매끄러운 재구성을 보여주고, 유사한 메모리 예산에서 SIMD 평가 및 병렬 렌더링을 효과적으로 지원한다.