[논문 리뷰] NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors

Hao-Kang Liu, I‐Chao Shen외 1명|arXiv (Cornell University)|2022. 06. 10.

Advanced Vision and Imaging인용 수 14

한 줄 요약

이 논문은 재학습이나 카테고리별 데이터가 필요 없이 사전 훈련된 NeRF로 표현된 3D 시점에서 불필요한 물체를 제거할 수 있는 자유형 NeRF 인painting을 위한 첫 번째 프레임워크인 NeRF-In을 제안한다. 사용자가 그린 마스크를 다수의 시점으로 전달하고 RGB-D 사전 지식을 활용해 가이드를 제공함으로써, 다수의 시점에서 공동으로 최적화하여 시각적으로 타당하고 기하학적으로 일관된 결과를 최소한의 사용자 노력으로 도출한다.

ABSTRACT

Though Neural Radiance Field (NeRF) demonstrates compelling novel view synthesis results, it is still unintuitive to edit a pre-trained NeRF because the neural network's parameters and the scene geometry/appearance are often not explicitly associated. In this paper, we introduce the first framework that enables users to remove unwanted objects or retouch undesired regions in a 3D scene represented by a pre-trained NeRF without any category-specific data and training. The user first draws a free-form mask to specify a region containing unwanted objects over a rendered view from the pre-trained NeRF. Our framework first transfers the user-provided mask to other rendered views and estimates guiding color and depth images within these transferred masked regions. Next, we formulate an optimization problem that jointly inpaints the image content in all masked regions across multiple views by updating the NeRF model's parameters. We demonstrate our framework on diverse scenes and show it obtained visual plausible and structurally consistent results across multiple views using shorter time and less user manual efforts.

연구 동기 및 목표

• 암묵적인 매개변수-표현 및 기하학적 연관성으로 인해 수정이 어려운 사전 훈련된 NeRF를 편집하는 도전 과제를 해결하기 위해.
• 사용자가 단일 렲면 렌더링 시점에서 마스크를 그려 자유형으로 3D 시점을 편집할 수 있도록 하기 위해.
• 추가 훈련이나 카테고리별 데이터가 필요 없이 다수의 시점에서 일관되고 시각적으로 타당한 인painting을 달성하기 위해.
• 사용자 노력과 각 시점별 인painting으로 인한 시각적 불일치를 줄이기 위해.
• 사전 훈련된 NeRF를 RGB-D 가이드를 사용해 최적화하여 시점 보정 및 물체 제거의 가능성을 입증하기 위해.

제안 방법

• 사용자가 사전 훈련된 NeRF 시점에서 불필요한 영역을 지정하기 위해 단일 렌더링 시점에 자유형 마스크를 그린다.
• 프레임워크는 비디오 객체 세그멘테이션 방법을 사용해 사용자가 제공한 마스크를 다수의 샘플링된 시점으로 전달한다.
• 사전 훈련된 이미지 인painting 방법을 사용해 마스킹 영역 내에서 가이드 색상 이미지를 생성하고, 이중 솔버를 사용해 깊이 이미지를 생성한다.
• 모든 마스킹된 시점에서 색상 및 깊이 재구성 오차를 최소화하는 방식으로 NeRF의 신경망 매개변수를 동시에 최적화하는 공동 최적화 문제를 설정한다.
• 색상 가이드 오차($L_{\text{color}}^{\text{all}}$)와 깊이 가이드 오차($L_{\text{depth}}$)를 모두 사용해 기하학적 일관성과 시각적 타당성을 확보한다.
• 다른 시점에서의 인paint된 이미지를 색상 가이드로 사용하지 않아 시각적 불일치를 방지한다.

실험 결과

연구 질문

• RQ1 재학습이나 카테고리별 데이터 없이 사전 훈련된 NeRF를 자유형 영역에서 불필요한 물체를 제거할 수 있는가?
• RQ2 사용자가 제공한 마스크는 어떻게 다수의 시점으로 효과적으로 전달하고 활용할 수 있으며, 이를 통해 NeRF 편집에서 3D 일관성을 확보할 수 있는가?
• RQ3 RGB-D 사전 지식은 정확하고 시각적으로 일관된 NeRF 인painting을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 색상 및 깊이 가이드 오차는 최적화된 NeRF에서 기하학적 정확성과 외관 충실도를 어떻게 함께 향상시키는가?
• RQ5 사용자 입력과 계산 비용을 최소화하면서도 다수의 시점 간 일관성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 단일 사용자 마스크만으로도 다수의 시점에서 시각적으로 타당하고 기하학적으로 일관된 인painting 결과를 달성한다.
• 색상 및 깊이 가이드 오차를 모두 사용하면 결과가 크게 향상되어 색상 노이즈가 제거되고 평평한 영역의 외관이 유지된다.
• 깊이 가이드 오차만으로 최적화하면 기하학적 정확성은 유지되지만 마스킹 영역 외부에 색상 아티팩트가 발생한다.
• 색상 가이드로 다른 시점의 인paint된 이미지를 포함시키는 것보다 사용자가 선택한 단일 시점만을 사용할 경우 더 안정적인 결과를 얻을 수 있다.
• 프레임워크는 깊이 변화가 높은 영역에서도 물체를 성공적으로 제거하고 복잡한 시점에서도 일관성을 유지한다.
• 반사율이 높거나 얇은 구조 영역에서는 초기 가이드 자료의 아티팩트로 인해 실패하며, 현재 가이드 생성 기술의 한계를 보여준다.