[논문 리뷰] MetaSDF: Meta-learning Signed Distance Functions

Vincent Sitzmann, Eric R. Chan외 3명|arXiv (Cornell University)|2020. 06. 17.

3D Shape Modeling and Analysis참고 문헌 4인용 수 91

한 줄 요약

MetaSDF는 신경 임플리시트 SDF들에 대한 학습 사전(priors)을 경사 기반 메타학습으로 처리하여 그리드 기반 인코더나 잠재 공간 자동 디코더 없이도 새로운 형태에 대한 빠른 테스트 시 적응을 가능하게 한다.

ABSTRACT

Neural implicit shape representations are an emerging paradigm that offers many potential benefits over conventional discrete representations, including memory efficiency at a high spatial resolution. Generalizing across shapes with such neural implicit representations amounts to learning priors over the respective function space and enables geometry reconstruction from partial or noisy observations. Existing generalization methods rely on conditioning a neural network on a low-dimensional latent code that is either regressed by an encoder or jointly optimized in the auto-decoder framework. Here, we formalize learning of a shape space as a meta-learning problem and leverage gradient-based meta-learning algorithms to solve this task. We demonstrate that this approach performs on par with auto-decoder based approaches while being an order of magnitude faster at test-time inference. We further demonstrate that the proposed gradient-based method outperforms encoder-decoder based methods that leverage pooling-based set encoders.

연구 동기 및 목표

• Shape space를 신경 임플리시트 SDF로 학습하는 문제를 메타러닝 문제로 공식화한다.
• 부분 관찰에서 새로운 형태로의 빠른 테스트 시 적응을 달성한다.
• 정규화된 그리드와 저차원 잠재 공간 의존성을 피하면서 일반화 성능을 향상시킨다.

제안 방법

• 각 형태 i를 그 SDF를 근사하기 위한 신경 SDF Φ_i로 표현한다.
• inner-loop 특수화를 통해 메타-네트워크의 조건화에 의해 Φ_i를 매개변수화한다.
• 경사 기반 메타러닝(MAML-style)을 사용하여 inner-loop가 context X_i^{train}에 적응하도록 φ_i^j를 업데이트하고 outer-loop가 X_i^{test}를 최소화하도록 괄호를 벗겨 업데이트한다.
• Initialize phi_i^0 = theta 및 k개의 inner updates 수행: phi_i^{j+1} = phi_i^j - alpha ⊙ ∇_{phi_i^j} L_train, L_train은 관측된 (x,s)에서 계산된다.
• 외부 루프 손실 L_test를 내부 루프를 통해 역전파하여 theta와 매 매개변수 학습률 alpha를 업데이트한다.
• 자동 디코더에 비해: 테스트 시간 추론이 더 빠르고 엄격한 잠재 공간 가정을 필요로 하지 않으며, 풀링 기반 세트 인코더보다 성능이 우수하다.

실험 결과

연구 질문

• RQ1 경사 기반 메타러닝이 제한된 컨텍스트 관찰에서 신경 임플리시트 SDF의 빠르고 유연한 특수화를 제공할 수 있는가?
• RQ2 메타SDF가 2D 및 3D 형태 일반화 작업에서 인코더 기반, 하이퍼네트워크 기반 및 자동 디코더 접근법과 비교하여 어떤 차이가 있는가?
• RQ3 메타-SDF가 그리드 기반 입력이나 고정 잠재 코드 없이 제로 레벨 세트 포인트로의 재구성을 지원하는가?
• RQ4 학습된 형태 공간이 분포 외 형태 및 변환에 대해 강건한가?
• RQ5 기존 방법에 비해 추론 속도 및 재구성 품질의 트레이드오프는 무엇인가?

주요 결과

• MetaSDF는 자동 디코더와의 성능을 유지하면서도 추론 시간에서 한 차례의 속도 차이를 보인다.
• MetaSDF는 2D 및 3D 실험에서 풀링 기반 세트 인코더보다 우수하며 낮은 차원의 잠재 공간을 필요로 하지 않는다.
• MNIST 기반 2D SDF에서, 제로 레벨 세트 관찰을 사용할 때 특히 대안보다 1-노름 오차가 더 낮은 경향을 보인다.
• ShapeNet 3D 실험에서, MetaSDF는 DeepSDF와 유사한 평균/중간 Chamfer 거리의 성능을 제공하면서 추론 시간을 ~8s에서 ~0.4s로 줄인다.
• MetaSDF는 제로 레벨 세트 포인트로 조건화된 3D 형태 재구성을 수행할 수 있으며, 분포 외 형태에 더 잘 일반화하고 여러 분포 외 테스트에서 오류가 더 낮다.