[논문 리뷰] ADOP: Approximate Differentiable One-Pixel Point Rendering

Darius Rückert, Linus Franke외 1명|arXiv (Cornell University)|2021. 10. 13.

Advanced Vision and Imaging참고 문헌 81인용 수 22

한 줄 요약

ADOP는 구조적 매개변수(카메라 자세, 점 위치, 렌즈 왜곡)와 광학적 매개변수(노출, 화이트 밸런스, 카메라 반응 함수)를 동시에 최적화함으로써 실시간 고정밀도 신규 시점 합성이 가능한 미분 가능하고 1픽셀 기반의 신경 렌더링 파이프라인을 도입한다. 한 픽셀 스플래터링을 통한 기울기 근사에 의해 비미분 가능한 점 렌더링을 미분 가능하게 만들며, 이를 통해 입력의 일관성 불일치를 보정하는 역렌더링을 가능하게 하여 소비자용 GPU에서 30 FPS의 실시간 성능을 달성한다. 이는 1억 개 이상의 점을 포함한 장면과 다양한 노출 입력 조건에서도 가능하다.

ABSTRACT

In this paper we present ADOP, a novel point-based, differentiable neural rendering pipeline. Like other neural renderers, our system takes as input calibrated camera images and a proxy geometry of the scene, in our case a point cloud. To generate a novel view, the point cloud is rasterized with learned feature vectors as colors and a deep neural network fills the remaining holes and shades each output pixel. The rasterizer renders points as one-pixel splats, which makes it very fast and allows us to compute gradients with respect to all relevant input parameters efficiently. Furthermore, our pipeline contains a fully differentiable physically-based photometric camera model, including exposure, white balance, and a camera response function. Following the idea of inverse rendering, we use our renderer to refine its input in order to reduce inconsistencies and optimize the quality of its output. In particular, we can optimize structural parameters like the camera pose, lens distortions, point positions and features, and a neural environment map, but also photometric parameters like camera response function, vignetting, and per-image exposure and white balance. Because our pipeline includes photometric parameters, e.g.~exposure and camera response function, our system can smoothly handle input images with varying exposure and white balance, and generates high-dynamic range output. We show that due to the improved input, we can achieve high render quality, also for difficult input, e.g. with imperfect camera calibrations, inaccurate proxy geometry, or varying exposure. As a result, a simpler and thus faster deep neural network is sufficient for reconstruction. In combination with the fast point rasterization, ADOP achieves real-time rendering rates even for models with well over 100M points. https://github.com/darglein/ADOP

연구 동기 및 목표

• 입력 이미지의 일관성 문제(예: 노출 차이, 캘리브레이션 오차, 불완전한 프록시 기하학)로 인한 신규 시점 합성 품질 저하를 해결하기 위해.
• 구조적 매개변수와 광학적 매개변수를 모두 최적화할 수 있는 완전히 미분 가능한 점 기반 렌더러를 개발하기 위해.
• 복잡한 장면에서 1억 개 이상의 점을 포함하더라도 표준 하드웨어에서 실시간 렌더링(30 FPS)을 달성하기 위해.
• 자체 최적화를 통해 입력 일관성을 향상시켜 복잡한 신경망에 대한 의존도를 줄이기 위해.
• 고역동도 범위(HDR) 출력과 다양한 톤 매핑을 가능하게 하는 미분 가능한 광학적 모델링을 지원하기 위해.

제안 방법

• 이 방법은 비미분 가능한 점 렌더링을 위한 공간 기울기 근사를 제공하는 1픽셀 스플래터링 래스터라이저를 사용하여 점 위치 및 카메라 매개변수를 통해 역전파를 가능하게 한다.
• 깊이 신경망은 렌더링된 점군으로부터 생성된 다중 해상도 희소 특징 맵에서 최종 이미지를 재구성한다.
• 시스템은 노출, 화이트 밸런스, 카메라 반응 함수, 비그네팅을 포함한 완전히 미분 가능한 광학적 카메라 모델을 통합한다.
• 렌더링 오차를 최소화하기 위해 입력 매개변수(카메라 자세, 점 위치, 노출 등)를 최적화함으로써 역렌더링을 적용하여 입력 일관성을 향상시킨다.
• 신경망 가중치, 특징 벡터, 구조적/광학적 매개변수를 통합된 미분 가능한 프레임워크에서 엔드 투 엔드 최적화할 수 있다.
• 효율적인 점 기반 래스터라이저와 네트워크 압축을 통해 렌더링을 가속화하여 소비자용 GPU에서 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능한 점 기반 렌더러가 구조적 매개변수와 광학적 매개변수를 동시에 최적화하여 신규 시점 합성 품질을 향상시킬 수 있는가?
• RQ2 1픽셀 스플래터링을 통한 기울기 근사는 비미분 가능한 렌더링 연산을 통해 역전파를 가능하게 하는 데 얼마나 효과적인가?
• RQ3 노출 차이, 캘리브레이션 오차 등의 입력 일관성 문제를 미분 가능한 파이프라인에서 역렌더링을 통해 어느 정도 보정할 수 있는가?
• RQ4 가벼운 신경망을 사용하여 1억 개 이상의 점을 포함한 복잡한 장면에서 실시간 렌더링(30 FPS)을 달성할 수 있는가?
• RQ5 노출 설정에 대한 사전 지식 없이도 HDR 출력을 생성하고 다양한 톤 매핑을 지원할 수 있는가?

주요 결과

• ADOP는 표준 GPU 하드웨어에서 1억 개 이상의 점을 포함한 장면에서도 30 FPS로 실시간 렌더링을 달성한다.
• 각 이미지의 노출 및 화이트 밸런스를 최적화함으로써 노출 차이로 인한 밝기 패치 등의 렌더링 아티팩트를 줄인다.
• 입력 매개변수 최적화를 통해 더 단순하고 빠른 신경망을 사용하면서도 높은 렌더링 품질을 유지할 수 있다.
• 학습된 특징은 장면의 질감을 고역동도로 인코딩하여 추론 시 다양한 톤 매핑(예: 더 자연스러운 결과를 얻기 위한 필름릭 톤 매핑)을 유연하게 지원한다.
• 노출 차이가 최대 8.7 EV(약 427배)인 입력 이미지도 처리할 수 있으며, 훈련 중에 노출를 보정함으로써 반점 아티팩트를 방지한다.
• 카메라가 물체에 너무 가까이 있거나 점군이 희박한 경우 플리커링 및 구멍 아티팩트가 발생하여 극단적인 시점 조건에서의 구멍 메우기 능력에 한계가 있음을 보여준다.