[논문 리뷰] Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields

Shangzhan Zhang, Sida Peng외 6명|arXiv (Cornell University)|2023. 07. 24.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

이 논문은 학습 비디오에서 단일 2D 프레임을 편집하는 방식으로 동적 신경 렌더링 필드(NeRF)에서 국소적인 외관 편집을 위한 새로운 프레임워크인 Dyn-E를 제안한다. 편집된 영역을 3D 텍스처 메시로 업프로젝션하고, 역행성 운동 네트워크를 사용해 시간에 따라 이를 왜곡한 후, 볼륨 렌더링을 통해 원본 NeRF와 융합함으로써, 편집되지 않은 영역에서의 오버피팅이나 품질 저하 없이 공간적·시간적으로 일관된 편집을 달성한다.

ABSTRACT

Recently, the editing of neural radiance fields (NeRFs) has gained considerable attention, but most prior works focus on static scenes while research on the appearance editing of dynamic scenes is relatively lacking. In this paper, we propose a novel framework to edit the local appearance of dynamic NeRFs by manipulating pixels in a single frame of training video. Specifically, to locally edit the appearance of dynamic NeRFs while preserving unedited regions, we introduce a local surface representation of the edited region, which can be inserted into and rendered along with the original NeRF and warped to arbitrary other frames through a learned invertible motion representation network. By employing our method, users without professional expertise can easily add desired content to the appearance of a dynamic scene. We extensively evaluate our approach on various scenes and show that our approach achieves spatially and temporally consistent editing results. Notably, our approach is versatile and applicable to different variants of dynamic NeRF representations.

연구 동기 및 목표

• 전문가 수준의 숙련도 없이도 동적 3D 시각화에서 세밀한 국소 외관 편집에 관한 연구가 부족한 점을 보완하기 위해.
• 사용자가 학습 비디오에서 단일 2D 프레임만 수정함으로써 동적 NeRF의 외관을 편집할 수 있도록 하기 위해.
• 편집된 결과의 공간적·시간적 일관성을 확보하면서도, 편집되지 않은 영역의 품질을 유지하기 위해.
• 다양한 동적 NeRF 표현 방식과 호환 가능한 일반화된 편집 프레임워크를 설계하기 위해.
• 오버피팅이나 오차 누적 없이 단일 프레임 편집을 시간에 걸쳐 안정적으로 전파하는 데 도전 과제를 극복하기 위해.

제안 방법

• 원본 동적 NeRF의 깊이 맵을 활용해 편집된 2D 영역을 3D 텍스처 메시로 업프로젝션한다.
• 메시를 원본 NeRF와 볼륨 렌더링을 통해 함께 렲영할 수 있는 국소 밀도 및 색상 필드로 변환한다.
• 장면 흐름 필드를 감독으로 사용해 시간에 따라 국소 표면을 왜곡하는 역행성 운동 표현 네트워크를 학습한다.
• 편향 보정 및 라플라시안 부드러움 정규화를 통해 변형 정확도와 시간적 일관성을 향상시킨다.
• 볼륨 렌더링 과정에서 국소 표면과 원본 NeRF를 융합함으로써 음영 관계를 정확히 처리한다.
• 프레임워크는 플러그 앤 플레이 방식이며, HyperNeRF, DynamicNeRF, Neural Body와 같은 다양한 동적 NeRF 변종과 호환된다.

Figure 1. Our proposed approach allows users to locally edit the appearance of a dynamic 3D scene in a user-friendly manner. Given training videos (a) and the reconstructed dynamic NeRF (b) as input, users can edit the appearance of the dynamic NeRF (d) by manipulating pixels in a single image (c).

실험 결과

연구 질문

• RQ1 전문가 수준의 간섭 없이 단일 프레임 2D 이미지 편집을 통해 동적 NeRF에서 국소 외관 편집을 달성할 수 있는가?
• RQ2 편집된 콘텐츠를 시간에 걸쳐 안정적으로 전파하면서 원래의 시각적 구조를 유지할 수 있는가?
• RQ3 3D 국소 표면 표현 방식이 외관 편집 중 공간적·시간적 일관성을 어떻게 달성하는가?
• RQ4 표준 왜곡 또는 직접 미세조정과 비교해 역행성 운동 네트워크 사용이 오차 누적 및 렌더링 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 다양한 동적 NeRF 아키텍처에 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 방법은 국소 외관 편집 분야에서 최신 기준 성능을 달성하며, 정량적 결과에서 뛰어난 시간적 일관성과 정확도를 보였다.
• 제거 실험 결과, 광학적 보정 또는 부드러움 정규화를 생략할 경우 PCK-T가 급격히 감소하고 EPE가 증가함을 확인하여 이들의 효과를 입증했다.
• 사이클 일관성이 보장되는 역행성 네트워크를 통해 오차 누적을 줄임으로써, 'SF 왜곡' 및 'Ours w/o Inv'와 같은 베이스라인보다 성능이 뛰어났다.
• 2D 옵티컬 플로우 제약 조건보다 3D 운동 감독을 통해 성능 향상이 가능함을 입증하며, 3D 운동 감독의 유용성을 보여주었다.
• 음영 처리가 필수적임을 확인: 'Ours w/o Occ' 베이스라인은 물체 뒤에 보이는 아티팩트로 인해 잘못된 결과를 생성했다.
• 제안된 방법은 HyperNeRF, DynamicNeRF, Neural Body 등 다양한 동적 NeRF 표현 방식에서 효과적이며, 일반화 가능성과 유연성을 입증했다.

Figure 2. Illustration of our pipeline. Given a single edited image and a dynamic NeRF, we first lift the edited region to the 3D space through rendered depth maps to form a textured mesh. Then, we train an invertible network to propagate the textured mesh to other frames. Finally, we combine the te