[논문 리뷰] Differentiable Rendering: A Survey

Hiroharu Kato, Deniz Beker외 5명|arXiv (Cornell University)|2020. 06. 22.

3D Shape Modeling and Analysis참고 문헌 149인용 수 120

한 줄 요약

이 논문은 mesh, voxel, point cloud 및 neural implicit 표현에 걸친 differentiable rendering(DR) 방법에 대한 포괄적 조사를 제공하며, neural rendering, 응용, 평가 및 해결 과제들을 다룬다.

ABSTRACT

Deep neural networks (DNNs) have shown remarkable performance improvements on vision-related tasks such as object detection or image segmentation. Despite their success, they generally lack the understanding of 3D objects which form the image, as it is not always possible to collect 3D information about the scene or to easily annotate it. Differentiable rendering is a novel field which allows the gradients of 3D objects to be calculated and propagated through images. It also reduces the requirement of 3D data collection and annotation, while enabling higher success rate in various applications. This paper reviews existing literature and discusses the current state of differentiable rendering, its applications and open research problems.

연구 동기 및 목표

• 2D 이미지 증거와 3D 장면 이해 사이의 다리로서 differentiable rendering의 동기를 부여한다.
• 데이터 표현 방식별 DR 방법의 현황과 그 작동 원리를 요약한다.
• DR 평가 메트릭, 라이브러리 및 실용적 고려사항을 논의한다.
• 향후 연구를 이끌 열쇠가 될 응용 및 해결 과제를 식별한다.

제안 방법

• 기저 데이터 표현(메시, 보셀, 포인트 클라우드, 암시적 함수)별로 differentiable rendering 알고리즘을 분류한다.
• 전역 조명 접근을 포함한 분석적 및 근사 경향(gradient) 기법을 설명한다.
• 핸드메이드 differentiable renderer의 대안으로 학습된(neural) 렌더링을 논한다.
• 연구와 구현을 지원하는 평가 방법론 및 DR 라이브러리를 검토한다.
• 각 표현의 장점, 한계 및 계산상의 고려사항을 개요한다.
• Differentiable rendering의 향후 방향과 열려 있는 문제를 다룬다.

실험 결과

연구 질문

• RQ1 각 기하학적 표현(mesh, voxel, point cloud, implicit)별 주요 differentiable rendering 방법과 이들의 미분 전략은 무엇인가?
• RQ2 평가 방법론과 메트릭이 differentiable rendering 방법에 어떻게 적용되며 실용적 한계는 무엇인가?
• RQ3 Differentiable rendering이 가능하게 하는 현재의 응용은 무엇이며 실시간 또는 임베디드 사용에서 남은 도전과제는 무엇인가?
• RQ4 Differentiable rendering과 neural rendering의 통합에 대해 제시되는 열린 문제와 향후 방향은 무엇인가?

주요 결과

• Mesh 기반 DR은 분석적 도함수, 근사 경사 및 전역 조명 기법을 포함한다.
• Voxel 기반 DR은 점유도/TSDF 표현과 차 differentiable 집계를 이용한 레이-마칭에 의존한다.
• 포인트 클라우드 DR은 영향력 가중치와 가려짐 처리를 다루며 깊이 및 색상 형성에 대한 다양한 전략이 있다.
• 신경 임피시트 표현은 레이 기반 샘플링 및 differentiable rendering으로 표면 및 점유 모델링을 가능하게 한다.
• 신경 렌더링은 데이터 기반 대안으로서 현실감을 향상시킬 수 있지만 일반화와 제어에 도전이 있다.
• 현재 단일의 통합 differentiable rendering 프레임워크가 없으며, 실용적 사용은 계산 및 라이브러리 측면에서 신중한 고려가 필요하다.