[논문 리뷰] Segmenting 3D Hybrid Scenes via Zero-Shot Learning.

Bo Liu, Shuang Deng외 2명|arXiv (Cornell University)|2021. 07. 01.

3D Shape Modeling and Analysis참고 문헌 24인용 수 4

한 줄 요약

이 논문은 S3DIS와 ScanNet에서 유도된 두 가지 새로운 벤치마크에서 상태최저 성능을 달성하며, 본문에서 다루지 않은 3D 객체 클래스에 대해 의미적 관계를 활용하여 점군 특징을 합성함으로써 하이브리드 3D 환경에서 정확한 의미적 세그멘테이션을 가능하게 하는 GAN 기반의 제로샷 러닝 프레임워크 PFNet을 제안한다. 이 방법은 본문에서 다루지 않은 3D 객체 클래스에 대해 효과적으로 일반화할 수 있음을 입증한다.

ABSTRACT

This work is to tackle the problem of point cloud semantic segmentation for 3D hybrid scenes under the framework of zero-shot learning. Here by hybrid, we mean the scene consists of both seen-class and unseen-class 3D objects, a more general and realistic setting in application. To our knowledge, this problem has not been explored in the literature. To this end, we propose a network to synthesize point features for various classes of objects by leveraging the semantic features of both seen and unseen object classes, called PFNet. The proposed PFNet employs a GAN architecture to synthesize point features, where the semantic relationship between seen-class and unseen-class features is consolidated by adapting a new semantic regularizer, and the synthesized features are used to train a classifier for predicting the labels of the testing 3D scene points. Besides we also introduce two benchmarks for algorithmic evaluation by re-organizing the public S3DIS and ScanNet datasets under six different data splits. Experimental results on the two benchmarks validate our proposed method, and we hope our introduced two benchmarks and methodology could be of help for more research on this new direction.

연구 동기 및 목표

• 본문에서 다루는 클래스와 다루지 않은 클래스가 모두 포함된 하이브리드 3D 환경에서의 의미적 세그멘테이션에 대한 연구 부족을 해결한다.
• 실제 혼합 환경에서 다루지 않은 3D 객체 클래스에 대한 제로샷 일반화를 가능하게 한다.
• 다루는 클래스의 의미 임베딩을 활용하여 다루지 않은 클래스의 점군 특징을 합성하는 방법을 개발한다.
• S3DIS와 ScanNet 기반으로 6개의 서로 다른 데이터 분할을 포함하는 두 가지 새로운 평가 벤치마크를 도입하여 향후 연구의 표준화를 도모한다.

제안 방법

• 다루는 클래스의 의미 임베딩을 활용하여 다루지 않은 3D 객체 클래스의 합성 점군 특징을 생성하는 GAN 아키텍처인 PFNet을 제안한다.
• 다루는 클래스와 다루지 않은 클래스의 특징 간 의미 관계를 모델링하고 통합하기 위해 새로운 의미 정규화 기법을 도입한다.
• 추론 시 3D 환경 점군의 의미 레이블을 예측하기 위해 합성된 특징을 기반으로 분류기 모델을 훈련시킨다.
• 생성기 네트워크에 다루는 클래스와 다루지 않은 클래스의 의미 임베딩을 조건 입력으로 활용한다.
• 합성된 점군 특징의 현실성과 구분 가능성 확보를 위해 판별기 모델을 활용한다.
• 공개된 S3DIS와 ScanNet 데이터셋을 재구성하여 6개의 서로 다른 데이터 분할을 생성함으로써 제로샷 3D 세그멘테이션 평가를 위한 두 가지 새로운 벤치마크를 구축한다.

실험 결과

연구 질문

• RQ1 하이브리드 환경에서 다루는 클래스와 다루지 않은 클래스가 함께 존재할 때, 제로샷 러닝 프레임워크는 다루지 않은 3D 객체 클래스에 효과적으로 일반화할 수 있는가?
• RQ2 제안된 의미 정규화 기법은 다루는 클래스와 다루지 않은 클래스 간의 교차 클래스 의미 관계를 얼마나 효과적으로 포착하는가?
• RQ3 합성된 점군 특징 생성 기법은 제로샷 3D 환경 이해에서 의미적 세그멘테이션 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 두 가지 벤치마크는 다양한 데이터 분할에서 제로샷 3D 세그멘테이션 모델의 평가에 얼마나 견고한가?

주요 결과

• 제안된 PFNet은 S3DIS와 ScanNet에서 유도된 두 가지 새로운 벤치마크에서 최고 성능을 달성한다.
• 의미 정규화 기법의 통합은 합성된 점군 특징의 품질과 후속 세그멘테이션 정확도를 크게 향상시킨다.
• 이 방법은 하이브리드 환경에서 다루지 않은 3D 객체 클래스에 대해 효과적으로 일반화함을 입증하며, 제로샷 일반화 능력이 뛰어나다.
• 6개의 데이터 분할을 포함하는 두 가지 새로운 벤치마크는 향후 제로샷 3D 세그멘테이션 연구를 위한 표준화되고 엄격한 평가 프로토콜을 제공한다.