[논문 리뷰] Soft Rasterizer: Differentiable Rendering for Unsupervised Single-View Mesh Reconstruction

Shichen Liu, Weikai Chen외 2명|arXiv (Cornell University)|2019. 01. 17.

3D Shape Modeling and Analysis참고 문헌 57인용 수 78

한 줄 요약

Soft Rasterizer(SoftRas)를 소개하는 것으로, 시각적 윤곽 기반의 미분가능한 래스터라이저로 렌더링 손실을 메시 생성기로 역전파하여 감독 없이 단일 뷰에서의 3D 메시 재구성을 가능하게 한다.

ABSTRACT

Rendering is the process of generating 2D images from 3D assets, simulated in a virtual environment, typically with a graphics pipeline. By inverting such renderer, one can think of a learning approach to predict a 3D shape from an input image. However, standard rendering pipelines involve a fundamental discretization step called rasterization, which prevents the rendering process to be differentiable, hence suitable for learning. We present the first non-parametric and truly differentiable rasterizer based on silhouettes. Our method enables unsupervised learning for high-quality 3D mesh reconstruction from a single image. We call our framework `soft rasterizer' as it provides an accurate soft approximation of the standard rasterizer. The key idea is to fuse the probabilistic contributions of all mesh triangles with respect to the rendered pixels. When combined with a mesh generator in a deep neural network, our soft rasterizer is able to generate an approximated silhouette of the generated polygon mesh in the forward pass. The rendering loss is back-propagated to supervise the mesh generation without the need of 3D training data. Experimental results demonstrate that our approach significantly outperforms the state-of-the-art unsupervised techniques, both quantitatively and qualitatively. We also show that our soft rasterizer can achieve comparable results to the cutting-edge supervised learning method and in various cases even better ones, especially for real-world data.

연구 동기 및 목표

• 3D 정답이 이용 불가능할 때 단일 이미지로부터의 비지도 3D 재구성을 동기 부여한다.
• 엔드-투-엔드 학습에 적합한 진정으로 미분가능한 래스터라이저를 제안한다.
• SoftRas를 이용한 실루엣 기반 감독으로 고품질 메시 재구성이 가능함을 보인다.
• 최신 비지도 방법과의 비교 및 현실감과 기하학적 품질 분석.

제안 방법

• 래스터화를 삼각형별 거리 기반 확률 맵 D_j를 이용한 이미지 픽셀 위의 확률적이며 미분가능한 프로세스로 공식화한다.
• D_j^i = sigmoid(delta_ij * d(i,j)^2 / sigma)로 정의하되, d(i,j)는 픽셀 i와 삼각형 f_j 사이의 거리이고 delta_ij는 픽셀의 삼각형 내부/외부 여부를 나타낸다.
• 삼각형 기여를 미분가능한 OR 유사 연산자 hat{S}^i = 1 - prod_j (1 - D_j^i)로 집계하여 실루엣 형성을 근사한다.
• 인코더-디코더를 사용해 각 정점의 변위를 예측하도록 템플릿 구를 변형시키는 엔드-투-엔드 메시 재구성 네트워크에 SoftRas를 통합한다.
• 렌더링된 hat{S}와 실제 실루엣 S 간의 IoU 기반 실루엣 손실로 학습하고, 매끈한 기하를 위한 라플라시안 및 플래튼 정규화를 보강한다.
• 원하면 미분가능 래스터라이저를 통해 색상 손실을 역전파하여 색상 재구성으로 확장한다.

실험 결과

연구 질문

• RQ1 진정으로 미분가능한 래스터라이저가 표준 래스터라이제를 충분히 근사하여 실루엣만으로 3D 메시 생성을 감독할 수 있는가?
• RQ2 SoftRas를 이용한 실루엣 기반 감독이 기하학적 품질과 IoU 측면에서 기존의 비지도 및 지도 학습 3D 재구성 방법과 어떻게 비교되는가?
• RQ3 기하학 정규화(라플라시안, 플래튼닝)와 다중 시점 학습이 재구성 정확도에 미치는 영향은 무엇인가?
• RQ4 합성 실루엣에서 실제 이미지로의 일반화 성능은 어느 정도인가?

주요 결과

카테고리	검색 [53]	복셀 기반 [53]	N3MR [19]	SoftRas (당사)
Airplane	0.5564	0.5556	0.6172	0.6419
Bench	0.4875	0.4924	0.4998	0.5080
Dresser	0.5713	0.6823	0.7143	0.7116
Car	0.6519	0.7123	0.7095	0.7697
Chair	0.3512	0.4494	0.4990	0.5270
Display	0.3958	0.5395	0.5831	0.6156
Lamp	0.2905	0.4223	0.4126	0.4628
Mean	0.4766	0.5736	0.6015	0.6234

• SoftRas는 최첨단 비지도 방법과 경쟁력 있는 IoU를 달성하며, 여러 카테고리에서 감독 학습 결과에 근접하거나 경우에 따라 이를 능가할 수 있다.
• 확률적이고 미분가능한 래스터라이제이션은 이전의 미분가능 렌더러에 비해 더 매끄럽고 고품질의 메시에 더 적은 왜곡(예: 자기 교차)을 산출한다.
• 더 많은 학습 시점을 사용하면 재구성 정확도가 향상되고 큰 평면 영역을 가진 물체의 실루엣 기반 모호성을 완화할 수 있다.
• 발생 실험은 라플라시안과 플래튼닝 손실 모두 매끄럽고 교차하지 않는 기하를 생성하는 데 중요함을 보여준다.
• SoftRas 층을 통해 색상 손실을 역전파하여 색상화된 메시 재구성이 가능하다.
• 표 기반 결과는 ShapeNet 카테고리 전반에서 SoftRas가 여러 기준선보다 평균 IoU를 개선했음을 나타낸다.