[논문 리뷰] Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning

Dongsu Zhang, Junha Chun외 2명|arXiv (Cornell University)|2020. 07. 07.

3D Shape Modeling and Analysis참고 문헌 38인용 수 13

한 줄 요약

이 논문은 공간적 의미 임베딩 네트워크(SSEN)를 제안한다. SSEN은 딥 메트릭 러닝을 통해 학습된 임베딩 공간에서 클러스터링으로서 인스턴스 세그멘테이션을 공식화하는 빠르고 효율적인 3D 인스턴스 세그멘테이션 방법이다. 같은 인스턴스에 속하는 점들이 가까이 모이도록 네트워크를 훈련시켜 동일 인스턴스의 점들이 응집하고 다른 인스턴스는 분리되도록 하여, ScanNet에서 최신 기준(AP) 성능을 달성하면서도 이전 방법보다 두 배 이상 빠르며, 복잡한 후처리나 3D 공간 연산이 필요로 하지 않는다.

ABSTRACT

We propose spatial semantic embedding network (SSEN), a simple, yet efficient algorithm for 3D instance segmentation using deep metric learning. The raw 3D reconstruction of an indoor environment suffers from occlusions, noise, and is produced without any meaningful distinction between individual entities. For high-level intelligent tasks from a large scale scene, 3D instance segmentation recognizes individual instances of objects. We approach the instance segmentation by simply learning the correct embedding space that maps individual instances of objects into distinct clusters that reflect both spatial and semantic information. Unlike previous approaches that require complex pre-processing or post-processing, our implementation is compact and fast with competitive performance, maintaining scalability on large scenes with high resolution voxels. We demonstrate the state-of-the-art performance of our algorithm in the ScanNet 3D instance segmentation benchmark on AP score.

연구 동기 및 목표

• 복잡한 전처리 또는 후처리 단계를 피하는 확장성 있고 효율적인 3D 인스턴스 세그멘테이션 방법을 개발하는 것.
• 정확한 인스턴스 분리에 기여하는 의미적 정보와 공간적 정보를 동시에 캐릭터라이즈하는 통합된 임베딩 공간을 학습하는 것.
• 고속 추론을 유지하면서도 3D 인스턴스 세그멘테이션에서 최신 기준 성능을 달성하는 것.
• 대규모 3D 환경에서의 가림, 물리적 접촉, 노이즈에 대한 강건성을 입증하는 것.

제안 방법

• 이 방법은 동일한 객체 인스턴스에 속하는 복소체가 가까이 모이도록 하는 공간-의미 임베딩 공간을 학습하기 위해 딥 네트워크를 사용한다.
• 임베딩 공간에서 내부 인스턴스 간의 거리를 최소화하고 외부 인스턴스 간의 거리를 최대화하도록 딥 메트릭 러닝을 통해 네트워크를 훈련시킨다.
• 후처리 단계에서 3D 유클리드 공간을 사용하지 않고, 직접 임베딩된 특징에 계층적 밀도 기반 클러스터링(HDBSCAN)을 적용하여 인스턴스 세그멘테이션을 수행한다.
• 임베딩 공간은 의미적 맥락과 공간적 구조를 모두 유지하도록 설계되어 있어, 객체 간 접촉이나 가림 상황에서도 강건한 클러스터링을 가능하게 한다.
• 엔드 투 엔드로 훈련 가능한 프레임워크이며, 복소체화된 3D 환경에서 작동하며, 효율적인 GPU 및 CPU 파이프라인 설계로 추론 속도를 높인다.
• 반복적 개선, 비최대 억제(NMS), 또는 적응형 임계값 설정을 피함으로써 계산 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 복잡한 후처리 없이도 단순한 메트릭 러닝 접근 방식이 최신 기준 3D 인스턴스 세그멘테이션 성능을 달성할 수 있는가?
• RQ2 학습된 임베딩 공간이 복잡한 3D 환경에서 의미적 정보와 공간적 구조를 얼마나 잘 유지할 수 있는가?
• RQ3 딥 메트릭 러닝은 대규모 고해상도 3D 환경에서 빠르고 확장 가능한 인스턴스 세그멘테이션을 가능하게 할 수 있는가?
• RQ4 객체 간 접촉, 가림, 노이즈와 같은 도전적인 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• SSEN은 ScanNet 3D 인스턴스 세그멘테이션 벤치마크에서 최신 기준 AP 스코어를 달성하여 기존 방법들보다 정확도와 속도 면에서 모두 뛰어난 성능을 보였다.
• 이전까지 보고된 가장 빠른 방법인 BoNet보다 두 배 이상 빠르며, ScanNet 검증 세트에서 추론 시간이 단 5분이었다.
• 객체를 환경에서 이동시킬 때도 일관된 클러스터링 패턴을 보여주어, 임베딩 공간이 공간적 구조를 효과적으로 포착하고 있음을 입증했다.
• 객체가 가까이 붙어 있거나 접촉해도 높은 성능를 유지하여, BoNet과 GSPN이 실패하는 경우에도 정확히 인스턴스를 분리하는 데 성공했다.
• HDBSCAN을 평균 이동(Mean-Shift)으로 대체할 경우 성능이著しく 떨어지고 런타임이 하루 가량 증가하여, HDBSCAN이 효율적이고 효과적임을 확인했다.
• 시각화 결과, 임베딩 공간에서 클러스터 중심에서 멀리 떨어진 점들은 물리적으로 분리되거나 모호한 영역에 해당함을 보여주어, 위상적 도전 과제에 대한 강건성을 시사했다.