[논문 리뷰] SDFDiff: Differentiable Rendering of Signed Distance Fields for 3D Shape Optimization

Yue Jiang, Dantong Ji외 2명|arXiv (Cornell University)|2019. 12. 15.

3D Shape Modeling and Analysis참고 문헌 54인용 수 11

한 줄 요약

SDFDiff는 3차원 형상 최적화를 위한 레이 캐스팅 기반의 미분 가능 렌더러를 도입하여 고해상도, 토폴로지 유연성, 완전한 표면을 구현한다. SDF 기반의 미분 가능 렌더링과 딥러닝, 다중 해상도 최적화 전략을 결합함으로써 다중 시야 및 단일 시야 3차원 재구성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose SDFDiff, a novel approach for image-based shape optimization using differentiable rendering of 3D shapes represented by signed distance functions (SDFs). Compared to other representations, SDFs have the advantage that they can represent shapes with arbitrary topology, and that they guarantee watertight surfaces. We apply our approach to the problem of multi-view 3D reconstruction, where we achieve high reconstruction quality and can capture complex topology of 3D objects. In addition, we employ a multi-resolution strategy to obtain a robust optimization algorithm. We further demonstrate that our SDF-based differentiable renderer can be integrated with deep learning models, which opens up options for learning approaches on 3D objects without 3D supervision. In particular, we apply our method to single-view 3D reconstruction and achieve state-of-the-art results.

연구 동기 및 목표

• 서명 거리 필드(SDF)로 표현된 3차원 형상을 기반으로 한 기울기 기반 최적화를 가능하게 하는 미분 가능한 렌더러를 개발하는 것.
• 메쉬나 포인트 클라우드 표현 방식의 한계를 극복하기 위해 SDF가 임의의 토폴로지와 완전한 표면을 표현할 수 있는 능력을 활용하는 것.
• 3차원 감독 없이 이미지로부터 고품질의 3차원 재구성을 가능하게 하기 위해 SDF 기반의 미분 가능 렌더링을 딥러닝과 통합하는 것.
• 국소 최소값을 피하기 위해 다중 해상도 전략을 통해 최적화의 안정성을 향상시키는 것.

제안 방법

• SDF의 레이 캐스팅을 위한 구체 추적(_sphere tracing_)을 사용하며, 계산 효율성을 향리하기 위해 단지 국소 조명 계산만을 미분 가능하게 한다.
• SDF 손실에 좁은 밴드 기법을 적용하여, 영역을 영점 등치면 근처로 제한함으로써 특이점과 이산화 오차를 방지한다.
• 손실 함수는 이미지, 정규화, 기하학적 손실을 조합하며, 가중치로는 𝒪 = 𝒪_img + 𝒪 ⊗ (λ₁𝒪_reg + λ₂𝒪_geo)를 사용하며, λ₁ = λ₂ = 0.02이다.
• 최적화의 안정성 향상과 고품질 해에의 수렴을 향상시키기 위해 다중 해상도 전략을 적용한다.
• 딥러닝 파ip라인과 통합되어 비감독적 단일 시야 3차원 재구성에 대한 엔드 투 엔드 학습을 가능하게 한다.
• 세 단계 학습 과정을 사용한다: 먼저 인코더-디코더를 학습하고, 그 다음 리파인어 네트워크로 개선하며, 마지막으로 모든 구성 요소를 함께 미세조정한다.

실험 결과

연구 질문

• RQ1 SDF의 미분 가능 렌더링은 임의의 토폴로지를 가진 다중 시야 이미지로부터 강력하고 고품질의 3차원 형상 최적화를 가능하게 할 수 있는가?
• RQ2 메쉬나 포인트 클라우드 기반 대비 SDF 기반의 미분 가능 렌더링은 재구성 정밀도와 토폴로지의灵活性 측면에서 어떻게 비교되는가?
• RQ3 SDFDiff는 3차원 감독 없이 딥러닝 모델에 효과적으로 통합되어 비감독적 단일 시야 3차원 재구성에 활용될 수 있는가?
• RQ4 다중 해상도 최적화는 SDF 기반 형상 최적화에서 수렴성 향상과 국소 최소값 회피에 어떤 역할을 하는가?

주요 결과

• SDFDiff는 단일 시야 3차원 재구성에서 13개 카테고리 전반에서 최신 기술 수준의 3D IoU 점수를 달성하며, 대부분의 경우 이전 방법을 능가한다.
• 이 방법은 의자와 같은 복잡한 레그 구조를 가진 복잡한 토폴로지를 성공적으로 재구성한다. 이는 SoftRasterizer와 같은 표준 메쉬 기반 방법이 고정된 토폴로지로 인해 이를 포착하지 못하는 데 기인한다.
• 다중 해상도 전략은 적은 수의 입력 시야에서도 고품질의 해에 안정적으로 수렴하게 하며, 최적화의 안정성을 향상시킨다.
• 좁은 밴드 SDF 손실은 중앙축의 이산화 문제와 특이점을 효과적으로 완화하여 기하학적 정확도를 향상시킨다.
• SDF 기반의 미분 가능 렌더링과 딥러닝의 통합은 고해상도, 연속적이고 완전한 표면을 갖춘 비감독적 3차원 재구성을 가능하게 한다.
• 다중 시야 재구성에서 포인트 기반의 미분 가능 렌더러보다 성능이 뛰어나며, 더 높은 안정성과 세부 사항 복원 능력을 입증한다.