[논문 리뷰] Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

Xiangyu Wang, Jingsen Zhu외 5명|arXiv (Cornell University)|2023. 07. 27.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

Seal-3D는 신경 렌디언스 필드(NeRF)에 대한 상호작용적이고 픽셀 수준의 편집 시스템을 도입하여 약 1초 내에 즉각적인 미리보기 기능을 제공하고, 원본 NeRF 공간으로의 사용자 편집을 매핑하는 프oxy 함수를 활용한 이중 단계의 티처-스터디 디스틸레이션 프레임워크를 통해 고해상도 편집을 가능하게 한다. 이 방법은 브러시 편집, 경계 상자 조작, 색상 편집 등 다양한 편집 유형을 지원하며, 메esh나 복잡한 프록시를 명시적으로 요구하지 않으면서도 음영과 기하학적 일致성을 유지한다.

ABSTRACT

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models in the teacher model and a two-stage training strategy for the student model with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.

연구 동기 및 목표

• 암시적 3D 표현 방식인 NeRF에 대한 상호작용적이고 세밀한 편집 도구의 부족을 해결하기 위해.
• 국소적 편집이 비국소적 암시적 네트워크에서 발생할 수 있는 전역 왜곡 문제를 해결하기 위해.
• 중간 프록시(예: 메쉬)에 의존하지 않고도 직접적이고 사용자 友好的한 편집과 즉각적인 시각 피드백을 제공하기 위해.
• 특히 그림자, 볼록부 등 복잡한 표면 효과에서 시각 일致성 있는 음영과 기하학적 세부 정보를 유지하기 위해.
• 기하학적 변형, 색상 페인팅, 객체 이동 등 다양한 편집 작업을 통합된 상호작용 시스템에서 동시에 수행할 수 있도록 하기 위해.

제안 방법

• 프록시 함수는 편집 공간에서 사용자 편집 지시(예: 브러시 스트로크 또는 경계 상자)를 원본 NeRF의 3D 시점 공간으로 매핑하여 편집과 기반 신경 필드 사이의 대응 관계를 설정한다.
• 이중 단계 학습 전략을 사용한다: 첫 번째 단계로 고정된 MLP와 업데이트된 위치 임베딩 격자를 사용해 국소적 사전학습을 수행하여 거친 즉각적인 미리보기 결과를 생성하고, 두 번째 단계로 전역 미세조정을 수행하여 결과를 정교화한다.
• 티처-스터디 디스틸레이션을 활용하여, 티처 모델이 프록시 함수를 통해 스터디 모델의 매개변수 업데이트를 내용 인식 손실을 기반으로 안내한다.
• 국소적 인식 위치 임베딩 격자를 도입하여 전역 네트워크의 붕괴 없이 국소적 편집 효과를 구현한다.
• 스터디 모델은 사진적 손실과 국소 기하학적 손실의 조합으로 학습되어 시각 일致성과 정확한 표면 세부 정보 재현을 보장한다.
• GUI 기반 인터페이스에 여러 편집 도구(경계 상자, 브러시, 앵커, 색상)를 통합하여 실시간 상호작용과 미리보기를 가능하게 한다.

실험 결과

연구 질문

• RQ1 NeRF 편집 시스템은 기하학적 및 음영 일치성을 유지하면서도 1초 이내의 미리보기 지연 시간을 제공하며 상호작용적이고 픽셀 수준의 편집을 달성할 수 있는가?
• RQ2 메쉬와 같은 명시적 3D 기하학을 사용하지 않고도 사용자 편집 지시를 NeRF의 암시적 3D 공간으로 효과적으로 매핑할 수 있는 프록시 함수는 어떻게 설계할 수 있는가?
• RQ3 국소적 최적화와 전역 최적화의 균형을 통해 빠른 수렴을 위한 즉각적인 미리보기 결과와 고품질 결과를 동시에 달성할 수 있는 학습 전략은 무엇인가?
• RQ4 비국소적 암시적 표현에서 전역 왜곡이나 잡음 없이 국소적 편집을 얼마나 잘 달성할 수 있는가?
• RQ5 기하학적 변형, 색상 편집, 객체 이동 등의 다양한 편집 유형을 동시에 그리고 시각 일치적으로 지원할 수 있는가?

주요 결과

• Seal-3D는 약 1초의 미리보기 시간을 확보하여 기존 방법이 수분 또는 수시간이 소요되는 것과 비교해 훨씬 빠른 상호작용 편집을 달성한다.
• 이중 단계 학습 전략(사전학습 + 미세조정)은 거친 결과를 즉각 제공하면서도 고품질 출력을 위해 2분 이내에 정교화를 완료할 수 있도록 한다.
• 복잡한 음영 효과, 예를 들어 들린 표면의 그림자나 볼록부를 잘 유지하며, NeuMesh 및 Liu et al. [20]과 같은 기준 모델보다 시각적 현실감과 잡음 감소 측면에서 뛰어난 성능을 보인다.
• 스터디 네트워크의 결과는 특히 떠 있는 물체와 같은 시각 일치하지 않는 잡음 요소를 줄이는 데 있어 티처 모델을 초월하는 경우가 많아 효과적인 디스틸레이션을 입증한다.
• 메쉬 프록시가 필요 없이 객체 이동, 기하학적 변형, 텍스처 페인팅 등 다양한 편집 작업을 지원하여 사용자 우호성과 상호작용성을 향상시킨다.
• 절단 실험 결과, 사전학습 단계에서 MLP를 고정함으로써 전역 품질 저하를 방지할 수 있으며, 이중 단계 전략이 국소 피팅과 전역 일관성 사이의 균형을 효과적으로 달성함을 확인했다.