[논문 리뷰] NeROIC: Neural Rendering of Objects from Online Image Collections

Zhengfei Kuang, Kyle Olszewski외 4명|arXiv (Cornell University)|2022. 01. 07.

Advanced Vision and Imaging인용 수 12

한 줄 요약

NeROIC는 근사한 배경 마스크와 추정된 카메라 포즈만을 사용하여 비정형적인 온라인 이미지 컬렉션에서 고해상도 3D 기하구조, 재질, 조명을 복원하는 모듈러한 신경 렌더링 프레임워크를 제안한다. NeRF를 강력한 기하구조 최적화, 법선 추정, 구면 조화 기반 재조명 기법으로 확장함으로써, 다양한 조명 조건과 배경에서 새로운 시점 합성, 재조명, 복합 렌더링을 가능하게 하며, 통제된 촬영 환경이 없는 도전적인 실외 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel method to acquire object representations from online image collections, capturing high-quality geometry and material properties of arbitrary objects from photographs with varying cameras, illumination, and backgrounds. This enables various object-centric rendering applications such as novel-view synthesis, relighting, and harmonized background composition from challenging in-the-wild input. Using a multi-stage approach extending neural radiance fields, we first infer the surface geometry and refine the coarsely estimated initial camera parameters, while leveraging coarse foreground object masks to improve the training efficiency and geometry quality. We also introduce a robust normal estimation technique which eliminates the effect of geometric noise while retaining crucial details. Lastly, we extract surface material properties and ambient illumination, represented in spherical harmonics with extensions that handle transient elements, e.g. sharp shadows. The union of these components results in a highly modular and efficient object acquisition framework. Extensive evaluations and comparisons demonstrate the advantages of our approach in capturing high-quality geometry and appearance properties useful for rendering applications.

연구 동기 및 목표

• 통제된 촬영 데이터가 없는 비정형적이고 실외적인 온라인 이미지 컬렉션에서 고품질 3D 객체 재구성을 가능하게 하는 것.
• 실제 이미지 컬렉션에서 변동하는 카메라 포즈, 조명, 배경, 객체 외관 등의 과제를 해결하는 것.
• 기하구조, 재질, 조명을 분리하여 다양한 렌더링 응용에 대해 융통성 있게 사용할 수 있는 모듈러한 신경 렌더링 파이프라인을 개발하는 것.
• 캘리브레이션된 다중 시점 데이터가 필요 없이 정확한 새로운 시점 합성, 재조명, 조화로운 배경 복합 렌더링을 달성하는 것.

제안 방법

• 초기 배경 마스크를 사용하여 기하구조 최적화 및 카메라 파rameter를 개선하는 다단계 NeRF 기반 프레임워크를 사용한다.
• 기하구조 노이즈를 억제하면서도 세밀한 디테일을 유지하는 강력한 법선 추정 기법을 도입한다.
• 신경 렌더링 파이프라인을 활용해 표면 반사율을 알베도, 법선, 반사성, 광택성 지ap으로 분해한다.
• 구면 조화를 사용하여 조명을 표현하고, 날카운 그림자 같은 일시적 효과를 모델링하기 위해 확장한다.
• 동적 조명 효과인 그림자와 반사광을 처리하기 위해 일시적 임bedding 모듈을 도입한다.
• 기하구조, 재질, 조명 구성 요소를 통합된 렌더링 시스템으로 조합하여 새로운 시점 합성과 재조명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 렌더링 방법은 최소한의 감독 하에 비정형적이고 실외적인 이미지 컬렉션에서 정확한 3D 기하구조와 외관을 재구성할 수 있는가?
• RQ2 초기 포즈가 정확하지 않거나 노이즈가 많은 경우 기하구조와 카메라 파rameter는 어떻게 효과적으로 최적화할 수 있는가?
• RQ3 다양한 조명 조건과 배경에서 재질과 조명 구성 요소를 얼마나 잘 분리하고 일관되게 렌더링할 수 있는가?
• RQ4 입력 이미지의 조명과 배경이 크게 다를 경우에도 모델이 새로운 시점, 재조명, 복합 장면에 일반화될 수 있는가?

주요 결과

• 완전한 NeROIC 모델은 Δt=0.1 및 Δr=10°일 때 PSNR 24.74와 FMSE 0.00029를 기록하며, 카메라 최적화가 없는 모델보다 우수한 성능을 보였다.
• Δr=20°일 경우에도 완전한 모델은 PSNR 20.38과 FMSE 0.00860을 유지하여 높은 포즈 오차에 대한 강건성을 입증했다.
• 카메라 최적화가 없는 모델은 Δr=10°일 때 3개의 시나리오 중 1개에서 수렴하지 못했지만, 완전한 모델은 모든 3개 시나리오에서 수렴하여 카메라 보정의 중요성을 입증했다.
• 절단 실험 결과, 일시적 임베딩이 렌더링 품질을 향상시키며, 기준 모델 대비 불완전한 마스크에서 낮은 MMSE를 기록했다.
• 입력 이미지의 배경과 조명이 크게 다름에도 불구하고, 모델은 새로운 환경에 객체를 자연스럽게 복합 렌더링하여 타당한 조명과 그림자를 구현했다.
• 실패 케이스에서는 환경 음영이 재질 특성으로 잘못 분류되는 경우가 있었으며, 향후 연구에서 더 나은 분리 기법이 필요함을 시사한다.