[논문 리뷰] DIST: Rendering Deep Implicit Signed Distance Function with Differentiable Sphere Tracing

Shaohui Liu, Yinda Zhang외 4명|arXiv (Cornell University)|2019. 11. 29.

3D Shape Modeling and Analysis참고 문헌 41인용 수 19

한 줄 요약

이 논문은 신경망으로 표현된 딥 임플리시트 부호 거리 함수(SDF)를 위한 미분 가능 구면 추적 렌더러인 DIST를 제안한다. 전진 및 역방향 전파 최적화를 통해 다중 시점 이미지나 깊이 맵과 같은 2D 관측 자료로부터 효율적이고 메모리 효율적인 3D 형상 복원을 가능하게 하며, 미세조정 없이도 최신 기술 수준의 일반화 능력과 강건성을 달성한다.

ABSTRACT

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises.

연구 동기 및 목표

• 역그래픽스와 딥 러닝 기반의 암묵적 SDF 표현 간 격차를 메우기 위해 미분 가능한 렌더링을 가능하게 하기 위해.
• 지속적인 SDF에 대한 미분 가능한 렌더링의 계산 및 메모리 과제를 해결하기 위해, 광선 마르칭 동안 막대한 함수 쿼리가 필요한 문제를 해결하기 위해.
• 학습된 잠재 공간 내 기하학적 추론을 통해 희소하거나 부분적인 2D 관측 자료(예: 깊이 맵, 다중 시점 이미지)로부터 정확한 3D 형상 복원을 가능하게 하기 위해.
• 기존의 학습 기반 또는 메쉬 기반 방법에 비해 노이즈, 도메인 이동, 나쁜 초기화에 대해 더 높은 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 핵심 렌더링 알고리즘으로 구면 추적을 채택하여, 각 픽셀에서 부호 거리 값이 0이 되는 지점(표면 충격)에 도달할 때까지 광선을 마르칭한다.
• 초기 계산을 줄이고 중복 쿼리를 방지하기 위해 전방 전파에서 굵은 토막에서 세밀한 토막으로의 광선 마르칭 전략을 도입한다.
• 해결도 유지하면서 쿼리 수를 최소화하기 위해 안전한 수렴 기준을 갖춘 공격적인 광선 마르칭 단계를 활용한다.
• 학습 성능에 거의 영향을 주지 않으면서 메모리와 계산을 크게 줄이는 역방향 전파에서의 기울기 근사 방법을 제안한다.
• 사전 학습된 DeepSDF 생성자와 통합하여 역그래픽스를 통해 잠재 코드를 최적화하고, 渲染된 이미지와 관측된 2D 이미지 간의 손실을 최소화한다.
• 깊이 맵, 표면 법선, 실루엣, 다중 시점 간의 광학 일致성 등 다양한 2D 감독을 지원한다.

실험 결과

연구 질문

• RQ1 소비자용 하드웨어에서 금전적 비용이나 계산 비용이 과도하게 들지 않도록, 신경망 기반 암묵적 SDF에 대해 미분 가능한 구면 추적을 효율적으로 구현할 수 있는가?
• RQ2 미분 가능한 렌더링을 통한 기하학적 추론이 다양한 데이터셋 간 일반화 능력 향상과 노이즈 또는 희소한 입력 조건에서의 3D 형상 복원 성능 향상에 기여하는가?
• RQ3 정확도와 강건성 측면에서 메쉬 기반 또는 순수 학습 기반 방법과 비교했을 때, 미분 가능한 SDF 렌더링의 성능는 어떠한가?
• RQ4 초기 잠재 코드가 무작위로 설정되거나 카메라 파ram이 학습 분포에서 벗어나도 이 방법이 얼마나 효과적으로 유지되는가?

주요 결과

• 제안된 미분 가능 렌더러는 PMO 합성 테스트 세트에서 최신 기술 수준의 3D 형상 복원 정확도를 달성했으며, 데이터셋에 대해 미세조정을 하지 않았음에도 불구하고 PMO의 성능을 그대로 따라잡았다.
• PMO에 비해 예측 불가능한 카메라 초점 거리에서 훨씬 더 뛰어난 일반화 능력을 보였으며, 성능 저하가 최소에 그쳤고, PMO는 도메인 이동과 과적합으로 인해 성능이 떨어졌다.
• 무작위로 초기화된 잠재 코드나 노이즈가 있는 초기화 조건에서도 이 방법은 높은 복원 품질을 유지했지만, PMO는 동일한 조건에서 성능이 급격히 악화되었다.
• 실제 다중 시점 데이터셋에서 DIST는 PMO보다 더 정확하고 구조적으로 올바른 3D 형상을 생성했으며, PMO는 종종 세부 구조나 올바른 토폴로지를 복원하지 못했다.
• 역방향 전파에서의 기울기 근사 방법은 학습에 거의 영향을 주지 않으면서 메모리와 계산을 크게 줄였고, 소비자용 GPU에서 효율적인 최적화를 가능하게 했다.
• 이 방법은 강력한 기하학적 추론을 가능하게 한다: 높은 품질의 3D 복원이 무작위 초기화 상태에서도 달성되었으며, 이는 지도 미세조정을 넘어서는 강건성과 일반화 능력을 보여준다.