[논문 리뷰] Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination

Alen Joy, Charalambos Poullis|arXiv (Cornell University)|2022. 02. 25.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 자연 조명 하에서 복잡한 대규모 실외 환경에서 다중 시점 영상만을 사용하여 공간적으로 변화하는 BRDF를 추정하는 엔드 투 엔드 방법을 제안한다. 두 단계 최적화 과정을 통해 최소 제곱 등각 매핑 기반의 미분 가능 렌더러와 새로운 다중 시점 기울기 일致성 손실를 활용함으로써, 기존 최고 성능(SOTA) 대비 최대 50% 낮은 재구성 오차와 더불어 확산 반사 및 미러 반사 성분의 개선된 분리 성능을 달성한다.

ABSTRACT

This paper presents a process for estimating the spatially varying surface reflectance of complex scenes observed under natural illumination. In contrast to previous methods, our process is not limited to scenes viewed under controlled lighting conditions but can handle complex indoor and outdoor scenes viewed under arbitrary illumination conditions. An end-to-end process uses a model of the scene's geometry and several images capturing the scene's surfaces from arbitrary viewpoints and under various natural illumination conditions. We develop a differentiable path tracer that leverages least-square conformal mapping for handling multiple disjoint objects appearing in the scene. We follow a two-step optimization process and introduce a multi-view gradient consistency loss which results in up to 30-50% improvement in the image reconstruction loss and can further achieve better disentanglement of the diffuse and specular BRDFs compared to other state-of-the-art. We demonstrate the process in real-world indoor and outdoor scenes from images in the wild and show that we can produce realistic renders consistent with actual images using the estimated reflectance properties. Experiments show that our technique produces realistic results for arbitrary outdoor scenes with complex geometry. The source code is publicly available at: https://gitlab.com/alen.joy/multi-view-gradient-consistency-for-svbrdf-estimation-of-complex-scenes-under-natural-illumination

연구 동기 및 목표

• 통제된 조명 조건이 필요로 하지 않는 다양한 자연 조명 조건에서 대규모 복잡한 환경에서 공간적으로 변화하는 BRDF를 추정하는 것.
• 단일 합성 물체가 아닌, 복잡한 기하학적 구조를 가진 다수의 분리된 물체에 대해 정확한 반사율 추정을 가능하게 하는 것.
• 더 나은 재조명 정확도를 확보하기 위해 확산 및 미러 BRDF 성분의 분리 성능을 향상시키는 것.
• 실제 환경의 영상(특히 도전적인 실외 환경 포함)에서도 안정적인 성능을 확보하는 것.
• 반사율 매개변수에 명시적 제어 기능을 제공하는 재사용 가능한, 미분 가능한 프레임워크를 제공하는 것.

제안 방법

• 실제 환경 영상에서 자연 조명 하에 다중 시점 스테레오를 사용하여 환경 기하구조를 재구성한다.
• 최소 제곱 등각 매핑 기반의 미분 가능 레이 트레이서를 활용하여 복잡한 기하학적 구조를 가진 다수의 분리된 물체를 처리한다.
• 확산 및 미러 BRDF 매개변수를 별도로 정밀 조정하기 위해 두 단계 최적화 프로세스를 적용한다.
• 다양한 시점 간의 기울기 일관성을 최소화하고, 각 점의 기울기 방향을 일관되게 유지하기 위해 다중 시점 기울기 일치성 손실를 도입한다.
• 공간적으로 변화하는 표면 반사율을 모델링하기 위해 수정된 Cook-Torrance BRDF를 매개변수화한다.
• 다양한 시점에서의 재구성 오차와 기울기 일관성 손실의 조합을 최소화함으로써 SVBRDF 매개변수를 최적화한다.

실험 결과

연구 질문

• RQ1 통제된 조명 조건 없이 다양한 자연 조명 조건에서 대규모 복잡한 실외 환경에서 SVBRDF 추정이 효과적으로 수행될 수 있는가?
• RQ2 다중 시점 일관성을 어떻게 강화할 수 있을까? 이를 통해 반사율 추정의 정확도와 안정성을 향상시킬 수 있는가?
• RQ3 미분 가능 렌더러가 복잡한 기하학적 구조를 가진 다수의 분리된 물체를 처리하면서도 최적화 안정성을 유지할 수 있는가?
• RQ4 제안된 다중 시점 기울기 일관성 손실는 확산 및 미러 BRDF 성분의 분리 성능에 얼마나 기여하는가?
• RQ5 SVBRDF 맵의 해상도는 재구성의 시각적 사실성과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 비금속 표면가 있는 환경에서, 제안된 방법은 최고 성능(SOTA) 대비 최대 50% 낮은 이미지 재구성 오차를 달성한다.
• 금속 표면의 경우, 재구성 오차를 최대 10% 감소시켜 도전적인 케이스에서도 뛰어난 안정성을 입증한다.
• 다중 시점 기울기 일관성 손실는 확산 및 미러 반사 성분의 분리 성능을 크게 향상시킨다.
• 새로운 환경 맵을 사용한 재조명 결과, RMSE가 최대 50% 감소하여 새로운 시점 및 조명 조합의 고정밀도 재현이 가능함을 시사한다.
• 손으로 그린 문양 등의 미세한 디테일을 포착하기 위해 고해상도 SVBRDF 맵(예: 2048²)이 필요하다.
• 저해상도 맵(예: 512²)는 필수적인 표면 디테일을 유지하지 못하며, 4096²는 계산 비용 증가에 비해 이득이 미미하다.