[논문 리뷰] Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations

Vadim Tschernezki, Iro Laina외 2명|arXiv (Cornell University)|2022. 09. 07.

Advanced Vision and Imaging인용 수 5

한 줄 요약

Neural Feature Fusion Fields (N3F)는 3D 신경 반사율 장치를 통해 자기지도 학습 2D 이미지 특징을 정규화하여, 3D 애너테이션 없이 시점에 관계없이, 음영을 고려한 의미 이해를 가능하게 한다. 이 방법은 3D 작업인 물체 검색, 분할, 장면 편집에 대해 2D 자기지도 학습 특징을 크게 향상시키며, 다양한 장면, 특히 에고센터릭 비디오에서 2D 티처 네트워크를 일관되게 능가한다.

ABSTRACT

We present Neural Feature Fusion Fields (N3F), a method that improves dense 2D image feature extractors when the latter are applied to the analysis of multiple images reconstructible as a 3D scene. Given an image feature extractor, for example pre-trained using self-supervision, N3F uses it as a teacher to learn a student network defined in 3D space. The 3D student network is similar to a neural radiance field that distills said features and can be trained with the usual differentiable rendering machinery. As a consequence, N3F is readily applicable to most neural rendering formulations, including vanilla NeRF and its extensions to complex dynamic scenes. We show that our method not only enables semantic understanding in the context of scene-specific neural fields without the use of manual labels, but also consistently improves over the self-supervised 2D baselines. This is demonstrated by considering various tasks, such as 2D object retrieval, 3D segmentation, and scene editing, in diverse sequences, including long egocentric videos in the EPIC-KITCHENS benchmark.

연구 동기 및 목표

• 자기지도 학습 2D 이미지 특징의 3D 일관성과 강건성을 향상시키기 위해, 이를 3D 신경 장치 표현으로 정규화하는 것.
• 다른 3D 애너테이션 없이 2D 이미지 특징과 다중시점 기하학을 활용하여 3D 장면에서 의미 이해를 가능하게 하는 것.
• DINO와 같은 2D 자기지도 학습 특징의 유용성을 2D를 넘어서 3D 장면 표현에 융합하여 3D 인식 작업을 지원하는 것.
• 정규화된 3D 신경 장치가 특징 품질을 향상시켜, 특히 시점 변화, 음영, 동적 장면 조건에서 더 나은 성능을 내는지 입증하는 것.
• 2D 시각 쿼리와 3D 장면 복원을 통해 오직 2D 시각 쿼리로만 3D 인식 작업, 예를 들어 모달 분할 및 장면 편집을 가능하게 하는 새로운 3D 기능 제공

제안 방법

• N3F는 2D 자기지도 학습 특징 추출기(예: DINO)를 티처로 사용하고, 3D 신경 반사율 장치(학생)가 그 특징을 재현하도록 하는 학생-선생 정규화 프레임워크를 사용한다.
• 3D 학생 네트워크는 미분 가능한 렌더링을 사용하여 훈련되며, 2D 이미지 특징에서 3D 좌표로 기울기 역전파가 가능하게 하여 다중시점 일관성을 강제한다.
• 특징 정규화는 렌더링된 시점에서 추출된 2D 특징과 티처 네트워크의 해당 특징 간 L2 손실을 최소화하여 수행된다.
• 이 방법은 NeRF 스타일의 암묵적 표현을 통해 3D 기하학과 외관을 통합하여 3D 인식 특징 전파 및 렌더링을 가능하게 한다.
• 이 프레임워크는 일반 NeRF 및 동적 장면 확장 기술(예: NeuralDiff)을 포함한 다양한 신경 렌더링 모델과 호환된다.
• 2D 쿼리에 기반한 3D 추론을 가능하게 한다: 주어진 2D 영역에서 3D 공간에서 특징을 매칭하여 물체를 검색, 분할, 편집할 수 있다.

실험 결과

연구 질문

• RQ1 2D 자기지도 학습 특징을 3D 신경 장치로 정규화함으로써, 다양한 시점과 음영 조건에서도 특징의 일관성과 강건성이 향상되는가?
• RQ2 3D 인식 특징 표현은 2D를 넘어서 3D 물체 분할 및 모달 완성과 같은 작업을 얼마나 잘 지원하는가?
• RQ3 N3F는 동적 장면과 시점 변화가 많은 어려운 에고센터릭 비디오 시퀀스에서 2D 특징 성능을 어떻게 향상시키는가?
• RQ4 3D 정규화 특징은 명시적인 3D 지도 없이도 장면 편집 및 인painting을 지원할 수 있는가?
• RQ5 2D 특징을 3D 공간으로 융합함으로써, 오픈 월드 및 제로샷 설정에서 2D 티처 네트워크보다 더 나은 일반화 성능을 달성하는가?

주요 결과

• N3F는 3D 물체 검색에서 2D 자기지도 학습 특징 성능을 크게 향상시켜, 특히 큰 시점 변화와 음영 조건에서 2D 티처보다 더 높은 정확도를 달성한다.
• 이 방법은 3D 애너테이션 없이도 3D 물체 분할 및 모달 분할을 가능하게 하여, 2D 티처보다 더 완전하고 정확한 분할 결과를 도출한다.
• 장면 편집에서 N3F는 다중시점 관측에서의 통합적 장면 지식을 활용함으로써 NeRF-N3F보다 더 현실적인 배경 복원을 제공한다.
• EPIC-KITCHENS 벤치마크에서 N3F는 장기적인 에고센터릭 비디오 시퀀스에서 1-shot 물체 검색 성능에서 2D DINO를 능가하며, 외관 변화와 동적 장면에 대한 강건성을 입증한다.
• 다양한 카메라 각도에서 일관된 특징 매칭을 보여주었듯이, N3F의 3D 정규화 특징는 원래 2D 특징보다 더 시점에 강인하고 음영을 고려하는 특성을 지닌다.
• 자세한 물체나 부분적으로만 보이는 물체(예: 조리도구)의 경우, N3F는 신경 장치의 3D 인식 덕분에 2D 티처보다 더 완전한 3D 기하학과 분할을 복원할 수 있다.