[논문 리뷰] SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields

Siddhant Ranade, Christoph Lassner외 5명|arXiv (Cornell University)|2022. 12. 07.

Advanced Vision and Imaging인용 수 5

한 줄 요약

SSDNeRF는 신경 렌디언스 필드(NeRFs)의 의미적 소프트 분해를 위한 새로운 방법을 제안하며, 각 클래스별 밀도 및 색상 모델링을 통해 볼륨 렌더링을 확장하여 영역과 의미 신호를 동시에 인코딩한다. 각 클래스별 기여도와 소프트 블렌딩을 통한 NeRF의 볼륨 렌더링 확장으로, 최신 기술 수준의 3차원 의미 분할 및 재구성 성능을 달성하며, 시각 의존 효과를 고려한 시간적으로 일관된 영상 편집을 지원한다.

ABSTRACT

Neural Radiance Fields (NeRFs) encode the radiance in a scene parameterized by the scene's plenoptic function. This is achieved by using an MLP together with a mapping to a higher-dimensional space, and has been proven to capture scenes with a great level of detail. Naturally, the same parameterization can be used to encode additional properties of the scene, beyond just its radiance. A particularly interesting property in this regard is the semantic decomposition of the scene. We introduce a novel technique for semantic soft decomposition of neural radiance fields (named SSDNeRF) which jointly encodes semantic signals in combination with radiance signals of a scene. Our approach provides a soft decomposition of the scene into semantic parts, enabling us to correctly encode multiple semantic classes blending along the same direction -- an impossible feat for existing methods. Not only does this lead to a detailed, 3D semantic representation of the scene, but we also show that the regularizing effects of the MLP used for encoding help to improve the semantic representation. We show state-of-the-art segmentation and reconstruction results on a dataset of common objects and demonstrate how the proposed approach can be applied for high quality temporally consistent video editing and re-compositing on a dataset of casually captured selfie videos.

연구 동기 및 목표

• 기존의 3차원 의미 분할 방법이 한 줄기 레이어를 따라 겹치거나 블렌딩된 의미 클래스를 모델링할 수 없는 한계를 해결하기 위해.
• 2차원 의미 분할 마스크를 신선한 시각 렌더링을 지원하는 볼륨형, 미분 가능한 표현으로 정확하게 3차원으로 올리는 것을 위해.
• 반사 및 의미의 기하학적 정확도를 향상시키기 위해, 반사와 의미의 동시 최적화 중 MLP의 정규화 효과를 활용하기 위해.
• 세밀한 디테일 보존을 고려한 자유 시점 셀피 영상에서 시간적으로 일관된 영상 편집 및 재조합을 가능하게 하기 위해.

제안 방법

• 기존 NeRF 수식을 확장하여 M개의 의미 레이어에 대해 각 클래스별 밀도 σⁱ 및 색상 cⁱ를 모델링함으로써, 각 레이어를 따라 소프트 블렌딩을 가능하게 한다.
• 총 색상이 모든 의미 클래스의 기여도에 대한 가중 평균이 되도록 수정된 볼륨 렌더링 방정식을 사용함: C(r) = ∑ⱼ Tⱼ (1 - exp(-∑ᵢ σⁱⱼ δⱼ)) (∑ᵢ σⁱⱼ cⁱⱼ) / (∑ᵢ σⁱⱼ).
• 다른 클래스의 밀도를 0으로 설정함으로써 각 의미 레이어를 별도로 렌더링할 수 있도록 하여, 분리된 시각 합성 가능하게 한다.
• i번째 클래스의 기여도를 정규화된 밀도 가중치를 통해 계산하는 분할 마스크 렌더링 함수 Sⁱ(r)를 도입한다.
• 자연스러운 셀피 영상에서의 비강성 운동을 다루기 위해 Nerfies 기반의 변형 가능 NeRF 프레임워크를 활용한다.
• 재구성, 의미 분할, 기하학적 정규화를 통합한 다중 작업 손실을 사용하여 정확도와 디테일 향상을 높인다.

실험 결과

연구 질문

• RQ1 신경 렌디언스 필드는 3차원 공간에서 여러 겹치는 클래스에 대해 반사 및 소프트 의미 레이블을 동시에 최적화하여 인코딩할 수 있는가?
• RQ2 볼륨 렌더링은 각 클래스의 밀도 및 색상 기여도를 지원하면서도 미분 가능성과 렌더링 일관성을 유지할 수 있는가?
• RQ3 MLP의 인도크티브 바이어스는 종단 간 의미 헤드에 비해 NeRF에서 의미 분해의 품질을 얼마나 향상시키는가?
• RQ4 제안된 방법은 최소한의 사용자 운동으로도 자연스럽게 촬영된 영상 시퀀스에서 시간적으로 일관된 3차원 편집을 달성할 수 있는가?
• RQ5 SSDNeRF는 SNeRF 및 기타 최신 기술 수준의 방법에 비해 3차원 의미 분할 정확도와 재구성 품질 측면에서 어떻게 비교되는가?

주요 결과

• SSDNeRF는 공통 물체에 대해 3차원 의미 분할 및 새로운 시각 재구성에서 최신 기술 수준의 성능을 달성하며, 기준 데이터셋에서 이전 방법들을 능가한다.
• 자유 시점 셀피 영상에서 고품질의 시간적으로 일관된 영상 편집 및 재조합을 가능하게 하여, 시각 의존 효과와 세밀한 디테일을 유지한다.
• 각 클래스별 밀도 및 색상 모델링을 통해 한 줄기 레이어를 따라 여러 의미 클래스의 소프트 블렌딩을 가능하게 하여, 부분적으로 가림되거나 겹치는 물체의 현실적인 렌더링을 가능하게 한다.
• MLP의 정규화 효과로 인해 재구성된 의미 레이어의 기하학적 품질이 향상되어 아티팩트가 감소하고 경계 일관성이 향상된다.
• 제거 실험을 통해 제안된 손실 구성 요소가 의미 정확도와 재구성 충실도 모두를 크게 향상시킨다는 것이 확인되었다.
• 자신의 운동이 있는 자연스러운 비강성 영상 촬영을 성공적으로 처리하여 실제 환경에서의 강건성을 입증했다.