[논문 리뷰] Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation

Xiao Fu, Shangzhan Zhang외 6명|arXiv (Cornell University)|2022. 03. 29.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

Panoptic NeRF는 NeRF를 활용하여 기하학과 의미를 함께 최적화하는 3D에서 2D로의 레이블 전이 방법을 제안한다. 굵은 3D 경계 상자 기반 원소와 노이즈가 있는 2D 의미 예측을 사용하여 고품질의 다중 시점 일致하는 패노프틱 세그멘테이션 레이블을 생성한다. 이는 이중 의미 필드와 의미 기반 기하 최적화를 통해 3D 및 2D 감독 신호를 융합함으로써 KITTI-360에서 최신 기술 수준의 성능을 달성하며, 정확도와 일관성을 모두 향상시킨다.

ABSTRACT

Large-scale training data with high-quality annotations is critical for training semantic and instance segmentation models. Unfortunately, pixel-wise annotation is labor-intensive and costly, raising the demand for more efficient labeling strategies. In this work, we present a novel 3D-to-2D label transfer method, Panoptic NeRF, which aims for obtaining per-pixel 2D semantic and instance labels from easy-to-obtain coarse 3D bounding primitives. Our method utilizes NeRF as a differentiable tool to unify coarse 3D annotations and 2D semantic cues transferred from existing datasets. We demonstrate that this combination allows for improved geometry guided by semantic information, enabling rendering of accurate semantic maps across multiple views. Furthermore, this fusion process resolves label ambiguity of the coarse 3D annotations and filters noise in the 2D predictions. By inferring in 3D space and rendering to 2D labels, our 2D semantic and instance labels are multi-view consistent by design. Experimental results show that Panoptic NeRF outperforms existing label transfer methods in terms of accuracy and multi-view consistency on challenging urban scenes of the KITTI-360 dataset.

연구 동기 및 목표

• 도시 환경에서 픽셀 단위의 의미 및 인스턴스 세그멘테이션 레이블링의 높은 비용과 노동 집약적인 과정을 해결하기 위해.
• 노이즈가 있는 2D 예측을 약한 감독 신호로 사용하여 굵은 3D 경계 상자 기반 원소에서 고밀도 2D 패노프틱 레이블로의 레이블 전이 정확도를 향상시키기 위해.
• 3D 공간에서의 추론을 통해 생성된 2D 레이블의 다중 시점 및 시공간 일관성을 확보하기 위해.
• 중첩된 3D 경계 상자 기반 원소 영역에서의 레이블 모호성 문제를 해결하고, 2D 예측의 노이즈를 줄이기 위해 기하학과 의미를 함께 최적화하기 위해.
• 다양한 렌더링과 의미 기반 안내를 활용하여 인간 후처리 없이 종단 간(end-to-end), 완전 자동화된 레이블 전이를 가능하게 하기 위해.

제안 방법

• 모델은 이중 의미 필드를 갖는 NeRF 기반의 렌더링 필드를 사용한다: 하나는 3D 경계 상자 기반 원소에서 고정된 필드이고, 다른 하나는 2D 예측에서 학습된 필드이다.
• 의미 기반 기하 최적화를 수행하기 위해 의미 필드를 고정하고, 2D 의미 정보를 활용해 기하 구조를 개선한다.
• 3D 기반 원소 레이블과 2D 노이즈가 있는 예측을 학습된 의미 필드를 통해 융합함으로써 모호성을 해결하는 기하학과 의미의 동시 최적화 단계를 수행한다.
• 사용된 손실 함수는 3D 감독 손실($\mathcal{L}^{\text{3D}}_{\mathbf{s}}$), 2D 감독 손실($\mathcal{L}^{\text{2D}}_{\mathbf{S}}$), 그리고 광학적 손실($\mathcal{L}_p$)의 조합이며, 샘플링을 향상시키기 위해 레이 괴기 기반 마스킹을 적용한다.
• 볼륨 렌더링을 사용하여 3D에서 학습된 의미 필드를 2D 이미지로 투영함으로써 다중 시점 간 일관성 있는 패노프틱 레이블을 생성한다.
• 희소한 입력 시점 조건에서도 기하 구조 복원 성능을 향상시키기 위해 새로운 샘플링 전략을 도입한다.

실험 결과

연구 질문

• RQ1 3D 공간에서 기하학과 의미를 함께 최적화하는 것이 2D에서의 최적화보다 3D에서 2D로의 레이블 전이 성능을 향상시킬 수 있는가?
• RQ2 희소한 시점만 존재할 경우 의미 기반 기하 최적화가 재구성 품질을 향상시킬 수 있는가?
• RQ3 굵은 3D 경계 상자 기반 원소와 노이즈가 있는 2D 예측의 융합이 레이블 모호성을 해결하고 2D 예측의 노이즈를 줄일 수 있는가?
• RQ4 3D 추론이 본질적으로 다중 시점 일관성을 갖춘 2D 패노프틱 레이블을 생성하는가?
• RQ5 기존의 2D에서 2D 및 3D에서 2D 레이블 전이 기반 모델들과 비교해 본다면, 제안된 방법은 정확도와 일관성 측면에서 어떤가?

주요 결과

• Panoptic NeRF는 KITTI-360 데이터셋에서 mIoU 81.4와 정확도 94.5를 기록하여 기존의 3D에서 2D 및 2D에서 2D 레이블 전이 방법을 모두 초월한다.
• 제거 실험 결과, 2D 감독 손실($\mathcal{L}^{\text{2D}}_{\mathbf{S}}$)을 제거할 경우 mIoU가 70.7로 감소함을 확인하여 이 손실 항목이 학습된 의미 필드를 정밀하게 보정하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 고정된 의미 필드($s_{\beta}$)는 기하 구조 향상에 크게 기여하며, 이를 제거할 경우 깊이 오차가 증가하고 객체 경계가 흐려지는 것으로 나타났다.
• 모든 구성 요소를 포함한 완전한 모델은 가장 낮은 광학적 손실(5.23)과 가장 높은 mIoU(81.4)를 기록하여 전체 최적화 파이프라인의 효과성을 확인한다.
• Deeplab 및 PSPNet과 같은 사전 학습된 2D 모델을 가짜 정답(pseudo GT)으로 사용하더라도 Panoptic NeRF는 각각 mIoU 79.3과 75.9로 이를 초월하며, 노이즈가 있는 2D 입력에 대해서도 강건함을 입증한다.
• 모델은 3D 경계 상자 기반 원소를 기반으로 시점 간 전역적으로 일관된 인스턴스 레이블링을 달성하며, 각 객체에 고유한 인스턴스 ID를 할당한다.