[논문 리뷰] Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning

Shichen Liu, Tianye Li외 2명|arXiv (Cornell University)|2019. 04. 03.

Advanced Vision and Imaging참고 문헌 47인용 수 129

한 줄 요약

Soft Rasterizer는 렌더링을 모든 메시 삼각형에 걸친 소프트하고 확률적 집계로 처리하는 완전한 미분 가능 렌더링 프레임워크를 제시하며, unsupervised 단일 뷰 재구성 및 이미지 기반 형태 적합을 위해 픽셀에서 3D 메시 속성까지 엔드-투-엔드 그래디언트 흐름을 가능하게 한다.

ABSTRACT

Rendering bridges the gap between 2D vision and 3D scenes by simulating the physical process of image formation. By inverting such renderer, one can think of a learning approach to infer 3D information from 2D images. However, standard graphics renderers involve a fundamental discretization step called rasterization, which prevents the rendering process to be differentiable, hence able to be learned. Unlike the state-of-the-art differentiable renderers, which only approximate the rendering gradient in the back propagation, we propose a truly differentiable rendering framework that is able to (1) directly render colorized mesh using differentiable functions and (2) back-propagate efficient supervision signals to mesh vertices and their attributes from various forms of image representations, including silhouette, shading and color images. The key to our framework is a novel formulation that views rendering as an aggregation function that fuses the probabilistic contributions of all mesh triangles with respect to the rendered pixels. Such formulation enables our framework to flow gradients to the occluded and far-range vertices, which cannot be achieved by the previous state-of-the-arts. We show that by using the proposed renderer, one can achieve significant improvement in 3D unsupervised single-view reconstruction both qualitatively and quantitatively. Experiments also demonstrate that our approach is able to handle the challenging tasks in image-based shape fitting, which remain nontrivial to existing differentiable renderers.

연구 동기 및 목표

• 미분 가능 렌더러를 통해 밀집한 픽셀-대-3D 감독을 가능하게 하여 2D 이미지로부터 3D 추론을 촉진한다.
• 렌더링의 비미분 가능성을 소프트 확률적 집계로 렌더링을 재정의하여 해결한다.
• 가려진 영역과 원거리 메시 꼭짓점으로의 그라디언트 흐름을 가능케 하여 강건한 3D 재구성 및 적합을 달성한다.
• 메시의 기하 및 외관을 감독하기 위해 색상화된 메시, 실루엣, 음영의 렌더링을 지원한다.

제안 방법

• 삼각형 j당 확률 맵 D_j를 도입하여 각 픽셀이 해당 삼각형의 영향을 받을 가능성을 모델링한다.
• D_j와 삼각형 깊이(z_j)를 사용하여 삼각형별 색상 맵을 융합하는 미분 가능 집계 함수 A를 정의하여 최종 이미지를 생성한다.
• 선택 가능한 샤프니스 매개변수 sigma와 작은 gamma를 갖는 시그모이드 기반의 소프트 렌더링(soft rasterization)을 사용하여 매끄러움과 충실도 사이의 균형을 맞춘다.
• 집계 함수의 변형(A_O는 실루엣용, A_S는 색상용)과 비교를 위한 신경망 기반 집계기 A_N 옵션을 제공한다.
• 실루엣과/또는 색상 이미지의 렌더링 손실로 학습하고, 재구성을 안정화하기 위한 선택적 기하학(라플라시안) 정규화를 포함한다.
• 가려짐과 비강체 변형이 있는 단일 뷰 메시 재구성과 이미지 기반 형태 적합성에의 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 진정한 미분 가능 렌더링 층이 3D 감독 없이 단일 이미지로부터 3D 메시 재구성을 위한 엔드투엔드 학습을 가능하게 할 수 있는가?
• RQ2 가려짐과 원거리 꼭짓점이 소프트 확률적 렌더링 프레임워크를 통해 그라디언트 신호를 받을 수 있는가?
• RQ3 소프트 렌더링이 이전의 미분 가능 렌더러와 비교하여 이미지 기반 형태 적합에 더 매끄러운 최적화 지형과 향상된 강건성을 제공하는가?
• RQ4 다른 거리 측정값과 집계 함수가 3D 재구성 품질에 미치는 영향은 무엇인가?
• RQ5 입력 이미지에서 색상 팔레트 접근 방식으로 재구성된 메시를 얼마나 잘 질감하는가?

주요 결과

• SoftRas는 ShapeNet 카테고리에서 비지도 기준선보다 더 높은 평균 IoU를 달성해 단일 뷰 재구성에서 일부 지도학습 방법에 근접하거나 이를 능가한다.
• 확률적 집계는 가려진 영역 및 원거리 삼각형으로의 그래디언트를 흐르게 하여 포즈 피팅 및 비강체 형태 최적화를 개선한다.
• 학습된 색 팔레트를 통한 색상 재구성은 저해상도 입력 이미지에서 재구성된 메시에 선명한 텍스처를 제공한다.
• 유클리드 거리와 A_O/A_S 집계기가 잘 작동함을 보여주며, 신경망 기반 A_N은 계산 비용이 더 들어도 미미한 이득을 제공한다.
• 실루엣 및 색상 손실을 이용한 렌더링이 실루엣 전용 감독보다 더 좋은 성능을 제공하고, 라플라시안 기하 정규화가 추가 이득을 준다.