[논문 리뷰] RenderNet: A deep convolutional network for differentiable rendering from 3D shapes

Thu Nguyen-Phuoc, Chuan Li외 2명|arXiv (Cornell University)|2018. 06. 18.

Computer Graphics and Visualization Techniques참고 문헌 42인용 수 65

한 줄 요약

RenderNet은 3D 보셀 모양에서 2D 이미지를 렌더링하고 단일 이미지에서 형태, 자세, 조명 및 텍스처를 추정하는 역렌더링 작업을 지원하는 새로운 투영 모듈이 포함된 미분 가능 렌더링 CNN을 제시합니다.

ABSTRACT

Traditional computer graphics rendering pipeline is designed for procedurally generating 2D quality images from 3D shapes with high performance. The non-differentiability due to discrete operations such as visibility computation makes it hard to explicitly correlate rendering parameters and the resulting image, posing a significant challenge for inverse rendering tasks. Recent work on differentiable rendering achieves differentiability either by designing surrogate gradients for non-differentiable operations or via an approximate but differentiable renderer. These methods, however, are still limited when it comes to handling occlusion, and restricted to particular rendering effects. We present RenderNet, a differentiable rendering convolutional network with a novel projection unit that can render 2D images from 3D shapes. Spatial occlusion and shading calculation are automatically encoded in the network. Our experiments show that RenderNet can successfully learn to implement different shaders, and can be used in inverse rendering tasks to estimate shape, pose, lighting and texture from a single image.

연구 동기 및 목표

• 단일 이미지에서 역그래픽스 작업을 가능하게 하는 미분 가능 렌더링의 필요성을 자극한다.
• 3D 보셀 입력에서 2D 이미지를 렌더링하는 엔드투엔드 학습 가능한 CNN을 개발한다.
• 가시성 및 투영을 미분 가능하게 학습하는 투영 유닛을 도입한다.
• 다양한 음영 스타일 생성과 노이즈가 있거나 해상도가 낮은 입력에 대한 강건성을 보여준다.
• 자세, 조명 및 텍스처 추정과 같은 역 렌더링에의 적용 가능성을 보여준다.]
• method: ["월드-투-카메라 강체 변환과 삼선 보간 샘플링을 적용하여 입력으로 보셀 격자를 사용합니다.","4D 보셀 특징 텐서를 재구성하고 깊이에 걸친 가시성 및 투영을 학습하기 위해 MLP(1x1 컨볼)를 통해 투영 유닛을 도입합니다.","3D 데이터를 처리하기 위해 3D 합성곱을 사용한 후 최종 이미지를 생성하기 위해 2D 합성곱을 사용합니다.","색마다 MSE, 흑백 그레이스케일에 대해 BCE인 픽셀 공간 회귀 손실로 엔드투엔드 학습합니다.","RenderNet을 확장하여 노말 맵을 출력하고 텍스처 매핑 및 쉐이딩 방정식(예: Phong 모델)과 통합합니다.","보지 못한 카테고리에 대한 일반화 및 손상되거나 저해상도 입력에 대한 강건성을 보여줍니다."]
• research_questions: [

제안 방법

• Use a voxel grid as input and apply a world-to-camera rigid-body transform with trilinear sampling.
• Introduce a projection unit that reshapes the 4D voxel feature tensor and applies an MLP (via 1x1 conv) to learn visibility and projection across depth.
• Employ 3D convolutions to process 3D data followed by 2D convolutions to produce the final image.
• Train end-to-end with a pixel-space regression loss (MSE for color, BCE for grayscale).
• Extend RenderNet to output normal maps and integrate with texture mapping and shading equations (e.g., Phong model).
• Demonstrate generalization to unseen categories and robustness to corrupted/low-resolution inputs.

실험 결과

연구 질문

• RQ1 RenderNet은 단일 아키텍처 내에서 서로 다른 음영 스타일을 렌더링하는 것을 학습할 수 있는가?
• RQ2 모델은 보지 못한 카테고리의 객체 및 노이즈가 있는 입력 부피에 일반화하는가?
• RQ3 RenderNet은 단일 이미지에서 형태, 자세, 조명 및 텍스처를 복구하기 위한 역 렌더링 작업에 사용될 수 있는가?
• RQ4 렌더링 품질과 일반화 측면에서 RenderNet은 인코더-디코더 기반과 어떻게 비교되는가?
• RQ5 프레임워크를 텍스처 맵핑 및 더 복잡한 조명 시나리오 처리로 확장할 수 있는가?

주요 결과

• RenderNet은 같은 아키텍처 내에서 Phong, 윤곽선, 카툰, 환경 음영(ambient occlusion) 등 다수의 쉐이더를 학습하여 스타일 간 PSNR에서 경쟁력을 보인다.
• 제시된 PSNR 점수에는 RenderNet Phong 25.39, EC Phong 24.21, EC-Deep Phong 20.88, RenderNet Contour 19.70, RenderNet Toon 17.77, RenderNet AO 22.37, RenderNet Face 27.43가 포함된다.
• 이 방법은 보지 못한 카테고리(의자 학습은 했지만 Stanford Bunny와 Monkey를 렌더링할 수 있음)로 일반화된다.
• RenderNet은 손상된 입력(50% 임의 잡음) 및 다운샘플링을 처리하면서 그럴듯한 고품질 렌더링을 생성한다.
• 텍스처 매핑 확장을 통해 알베도맵과 노말 맵 렌더링이 가능해 텍스처로 음영된 렌더링을 가능하게 한다.
• 인코더-디코더 기반(EC, EC-Deep) 대비 RenderNet은 객체 디테일을 더 잘 보존하고 새로운 카테고리에 일반화된다.
• 단일 이미지 재구성에서 RenderNet은 형태, 자세, 조명 및 텍스처 복구를 지원하며 샤프니스와 재조명/재텍스처링의 제어성을 향상시킨다.