[논문 리뷰] Weakly Supervised Semantic Point Cloud Segmentation:Towards 10X Fewer Labels

Xun Xu, Gim Hee Lee|arXiv (Cornell University)|2020. 04. 08.

3D Shape Modeling and Analysis참고 문헌 35인용 수 29

한 줄 요약

이 논문은 레이블이 부족한 3D 포인트 클러스터 세분화를 위한 약한 감독 기반 딥 러닝 프레임워크를 제안하며, 레이블이 부여된 포인트의 10%만으로도 완전 감독 방법과 비교할 만한 성능을 달성한다. 기울기 근사, 비정확한 감독, 시아모이즈 자기지도 학습, 공간/색상 연속성 제약을 활용하여, annotation 비용을 10배 감소시키면서도 세 가지 공개 데이터셋에서 높은 정확도를 유지한다.

ABSTRACT

Point cloud analysis has received much attention recently; and segmentation is one of the most important tasks. The success of existing approaches is attributed to deep network design and large amount of labelled training data, where the latter is assumed to be always available. However, obtaining 3d point cloud segmentation labels is often very costly in practice. In this work, we propose a weakly supervised point cloud segmentation approach which requires only a tiny fraction of points to be labelled in the training stage. This is made possible by learning gradient approximation and exploitation of additional spatial and color smoothness constraints. Experiments are done on three public datasets with different degrees of weak supervision. In particular, our proposed method can produce results that are close to and sometimes even better than its fully supervised counterpart with 10$ imes$ fewer labels.

연구 동기 및 목표

• 3D 포인트 클러스터 세분화 데이터의 높은 annotation 비용 문제를 해결하기 위해 필요한 레이블이 부여된 포인트 수를 줄이기 위해.
• 딥 러닝 모델이 레이블이 부여된 포인트의 소수만으로도 경쟁 가능한 성능을 달성할 수 있는지 조사하기 위해.
• 최소한의 감독 정보에도 불구하고 높은 세분화 정확도를 유지할 수 있는 약한 감독 프레임워크를 개발하기 위해.
• 고정된 레이블링 예산 하에서 최적의 annotation 전략에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 이 방법은 레이블이 부여된 포인트에만 소프트맥스 교차 엔트로피 손실을 적용하는 불완전한 감독 브랜치를 사용하며, 기울기를 전체 기울기의 샘플링 근사로 간주한다.
• 비정확한 감독 브랜치는 다중 인스턴스 학습에서 영감을 얻은 샘플 수준의 교차 엔트로피 손실을 적용하여 부정적인 카테고리 활성화를 억제한다.
• 시아모이즈 자기지도 학습 브랜치는 무작위 평면 내 회전 및 반사 변환을 통해 원본과 증강된 포인트 클러스터 예측 간 일관성을 강제한다.
• 공간 및 색상 연속성 제약은 유사한 색상을 가진 인접한 포인트들이 일관된 예측을 하도록 유도하며, 학습 및 추론 모두에 적용된다.
• 추론 시점의 레이블 전파를 그래프 기반의 소프트 제약 최적화를 통해 수행하여 공간 및 색상 연속성을 활용해 예측을 추가로 정밀화한다.
• 이 프레임워크는 PointNet 및 DGCNN와 같은 여러 백본 인코더와 호환되며, 아키텍처 간 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 포인트의 10%만으로도 포인트 클러스터 세분화를 위한 딥 네트워크 모델이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 희소 레이블링에서 유도된 기울기 근사는 진정한 기울기로 수렴하는가? 이 수렴의 통계적 성질은 무엇인가?
• RQ3 고정된 레이블링 예산 하에서 최적의 annotation 전략은 무엇인가—많은 샘플을 더 적은 레이블로, 아니면 적은 샘플을 더 많이 레이블링하는가?
• RQ4 자기지도 학습 및 연속성 제약과 같은 추가 제약 조건이 약한 감독 환경에서 모델의 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 레이블이 부여된 포인트의 10%만으로도 완전 감독 모델과 비교할 만한 세분화 성능을 달성하여 annotation 비용을 10배 감소시켰다.
• ShapeNet, PartNet, S3DIS에서 모델는 10% 레이블링 수준에서 완전 감독 성능에 2% 이내의 mIoU를 달성하였으며, S3DIS에서는 10% 레이블링에서도 44.5 mIoU를 기록하였다.
• 제거 분석 결과, 특히 시아모이즈 자기지도 학습과 공간/색상 연속성 제약이 성능 향상에 기여하며, 추론 시점의 레이블 전파가 추가로 성능 향상을 이끌어냈다.
• 이론적 분석 결과, 희소 레이블링에서 유도된 기울기는 분포상으로 진정한 기울기로 수렴하며, 분산은 레이블이 부여된 포인트 수에 반비례하는 것으로 나타났다.
• 고정된 annotation 예산 하에서, 더 많은 샘플을 더 적은 레이블로 레이블링하는 것이 더 적은 샘플을 더 많이 레이블링하는 것보다 우수한 성능을 보였다.