[논문 리뷰] Compositional Prototype Network with Multi-view Comparision for Few-Shot Point Cloud Semantic Segmentation

Xiaoyu Chen, Chi Zhang외 2명|arXiv (Cornell University)|2020. 12. 28.

3D Shape Modeling and Analysis참고 문헌 20인용 수 14

한 줄 요약

이 논문은 소수의 샘플로도 일반화 성능을 향상시키기 위해 국소적 영역 표현과 다중 시점 임베딩을 활용하는 복합 프로토타입 네트워크를 제안하며, 이를 통해 소수 샘플 3D 포인트 클라우드 세분화에서 최신 기술 수준의 성능을 달성한다. 제안된 방법은 새로 도입된 ScanNet-$6^i$ 벤치마크에서 1-샷 설정에서 기준 모델보다 최대 3.7% 높은 평균 mIoU 성능을 기록했으며, 완전히 지도 학습 설정에서 클래스 불균형 문제를 효과적으로 완화시켰다.

ABSTRACT

Point cloud segmentation is a fundamental visual understanding task in 3D vision. A fully supervised point cloud segmentation network often requires a large amount of data with point-wise annotations, which is expensive to obtain. In this work, we present the Compositional Prototype Network that can undertake point cloud segmentation with only a few labeled training data. Inspired by the few-shot learning literature in images, our network directly transfers label information from the limited training data to unlabeled test data for prediction. The network decomposes the representations of complex point cloud data into a set of local regional representations and utilizes them to calculate the compositional prototypes of a visual concept. Our network includes a key Multi-View Comparison Component that exploits the redundant views of the support set. To evaluate the proposed method, we create a new segmentation benchmark dataset, ScanNet-$6^i$, which is built upon ScanNet dataset. Extensive experiments show that our method outperforms baselines with a significant advantage. Moreover, when we use our network to handle the long-tail problem in a fully supervised point cloud segmentation dataset, it can also effectively boost the performance of the few-shot classes.

연구 동기 및 목표

• 포인트별 주석이 필요한 고비용 작업을 수반하는 완전 지도 학습 3D 포인트 클라우드 세분화의 데이터 집약적 성향을 해결하기 위해.
• 영상 기반 소수 샘플 학습 방법을 포인트 클라우드에 직접 적용할 경우 구조적 및 영역 정보 손실로 인해 발생하는 한계를 극복하기 위해.
• 국소적 영역 표현과 다중 시점의 중복성을 활용하여 3D 세분화에서 소수 샘플 일반화 성능을 향상시키는 방법을 개발하기 위해.
• 실제 데이터 부족과 클래스 불균형 조건 하에서 소수 샘플 포인트 클라우드 세분화를 평가하기 위해 새로운 벤치마크인 ScanNet-$6^i$를 구축하기 위해.
• 제안된 소수 샘플 프레임워크가 완전 지도 학습에서 희귀 클래스 성능 향상에도 기여할 수 있음을 입증하기 위해.

제안 방법

• 복합 프로토타입 네트워크는 복잡한 포인트 클라우드 데이터를 국소적 영역 표현으로 분해하여 공간적 및 구조적 정보를 유지한다.
• 다중 시점 비교(MVC) 구성요소는 지원 세트의 영역 특징에서 컨볼루션 커널 가중치를 생성하여 쿼리 포인트에 영역 수준의 레이블 전이가 가능하게 한다.
• MVC 구성요소는 지원 세트의 여러 시점 이미지를 활용하여 강력하고 구별 가능한 커널 가중치를 생성함으로써 일반화 성능과 효율성을 향상시킨다.
• 이 방법은 그래프 어텐션 유닛(GAU)을 사용하여 복합 프로토타입을 정밀하게 보정하고, 내적 곱 또는 컨볼루션 연산을 통해 쿼리 특징과 프로토타입 간의 유사도를 계산한다.
• 6개 클래스가 각 에피소드당 포함되는 ScanNet 데이터셋에서 유도된 새로운 벤치마크인 ScanNet-$6^i$를 구축하였으며, 클래스 불균형 조건 하에서 소수 샘플 세분화를 평가하기 위해 설계되었다.
• SparseConvNet의 분류기 구조를 수정하여 MVC 기반 프로토타입 기반 거리 기반 학습을 적용함으로써 지도 학습에 확장하였으며, 데이터 재가중 또는 오버샘플링 없이도 희귀 클래스 성능 향상을 달성하였다.

실험 결과

연구 질문

• RQ1 전반적 프로토타입 풀링 대비 국소적 영역 표현과 다중 시점 비교가 3D 포인트 클라우드 세분화에서 소수 샘플 일반화 성능 향상에 기여하는가?
• RQ2 3D 세분화에서 표준 거리 기반 학습 및 관계 기반 방법과 비교해 복수 시점 비교 구성요소의 정확도와 효율성은 어떻게 되는가?
• RQ3 소수 샘플 프레임워크는 클래스 불균형 3D 세분화 데이터셋에서 희귀 클래스의 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 제안된 방법은 다양한 샷 설정(1-샷 대비 5-샷)에서 일반화 성능가 유지되며 자원 부족 조건에서도 강건한가?
• RQ5 MVC 기반 거리 기반 학습 프레임워크는 완전 지도 학습으로 효과적으로 전이되어 소수 샘플 클래스 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 CP와 MVC 방법은 1-샷 ScanNet-$6^i$ 벤치마크에서 43.4% mIoU를 달성하여 기준 모델인 GAP(41.6%) 및 CP(41.9%)를 상당한 격차로 앞서며 성능을 뛰어넘었다.
• 5-샷 설정에서는 ScanNet-$6^i$에서 45.1% mIoU를 기록하여 다음으로 우수한 기준 모델(44.3%)을 0.8% 포인트 이상 앞섰다.
• 제거 분석 결과 MVC가 내적 곱 및 컨볼루션 유사도 메트릭보다 우수하며, 더 낮은 MACs를 기록하고 특히 다중 시점 조합에서 더 뛰어난 일반화 성능를 보였다.
• 완전 지도 학습 설정에서도 소수 샘플 클래스의 성능 향상이 이루어졌다: 제안된 거리 기반 방법은 소수 샘플 클래스에서 69.7% mIoU를 기록했으며(SparseConvNet 대비 67.8%), 전체 mIoU는 72.7%로 이전 최신 기술 수준을 초월했다.
• 표준 컨볼루션 유사도 레이어 대비 MVC 구성요소는 계산 비용을 감소시켰으며, 다중 시점 커널 생성에 의해 유의미한 오버헤드 없이도 효율성을 확보했다.
• 시각화 결과는 단 한 개의 지원 샘플만으로도 배경에서 객체를 성공적으로 세분화하는 것을 보여주며, 강력한 소수 샘플 일반화 성능을 입증했다.