[논문 리뷰] Dual Adaptive Transformations for Weakly Supervised Point Cloud Segmentation

Zhonghua Wu, Yicheng Wu외 3명|arXiv (Cornell University)|2022. 07. 19.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 희소한 애너테이션으로부터 일반화 능력을 향상시키기 위해 적응형 국소 및 영역별 변형을 통한 일致성 강제를 통해 새로운 약한 지도 학습 기반 3D 포인트 클라우드 세그먼테이션 프레임워크인 이중 적응형 변환(Dual Adaptive Transformations, DAT)을 제안한다. 로컬 적응형 변형(LAP) 및 영역 적응형 변형(RAD) 모듈을 통합함으로써 DAT는 기존 방법들보다 S3DIS에서 'One Thing One Click'(1T1C) 설정 하에 6.5% mIoU 향상으로 최신 기준 성능을 달성한다.

ABSTRACT

Weakly supervised point cloud segmentation, i.e. semantically segmenting a point cloud with only a few labeled points in the whole 3D scene, is highly desirable due to the heavy burden of collecting abundant dense annotations for the model training. However, existing methods remain challenging to accurately segment 3D point clouds since limited annotated data may lead to insufficient guidance for label propagation to unlabeled data. Considering the smoothness-based methods have achieved promising progress, in this paper, we advocate applying the consistency constraint under various perturbations to effectively regularize unlabeled 3D points. Specifically, we propose a novel DAT ( extbf{D}ual extbf{A}daptive extbf{T}ransformations) model for weakly supervised point cloud segmentation, where the dual adaptive transformations are performed via an adversarial strategy at both point-level and region-level, aiming at enforcing the local and structural smoothness constraints on 3D point clouds. We evaluate our proposed DAT model with two popular backbones on the large-scale S3DIS and ScanNet-V2 datasets. Extensive experiments demonstrate that our model can effectively leverage the unlabeled 3D points and achieve significant performance gains on both datasets, setting new state-of-the-art performance for weakly supervised point cloud segmentation.

연구 동기 및 목표

• 희소한 레이블이 있는 포인트 클라우드 세그먼테이션 모델을 정확하게 학습시키는 데 도전한다.
• 미레이블된 데이터를 보다 효과적으로 활용하여 약한 지도 학습 환경에서 레이블 전파 및 모델 일반화 능력을 향상시킨다.
• 적응형 변환을 통해 포인트 수준과 영역 수준에서의 매끄러움을 강제하는 강력하고 일致적인 학습 전략을 개발한다.
• S3DIS 및 ScanNet-v2와 같은 대규모 벤치마크에서 최소한의 지도 정보로 최신 기준 성능을 달성한다.

제안 방법

• 포인트 수준과 영역 수준에서 적응형 변형을 통해 일치성 제약 조건을 적용하는 이중 적응형 변환(DAT) 프레임워크를 제안한다.
• 온라인로 추정된 클래스 분포를 기반으로 적응형 좌표 및 클래스 인식 특징 변형을 생성하는 로컬 적응형 변형(LAP) 모듈을 도입한다.
• 스퍼포인트 영역에 대해 이동, 스케일링, 회전 등의 적응형 애핀 변환을 적용하여 구조적 일致성을 강제하는 영역 적응형 변형(RAD) 모듈을 활용한다.
• 다양하고 적응형인 변형에 대해 예측이 일치하도록 보장하기 위해 변환 모듈을 적대적 전략으로 학습시킨다.
• 기존의 포인트 클라우드 백본(예: KPConv, PointNet++)과 함께 종단 간(end-to-end)으로 적용되며, 기존의 약한 지도 학습 프레임워크와 원활하게 통합된다.
• 가짜 레이블링과 반복적 개선을 활용하여, 변형된 시각 간에 일致하는 예측이 레이블이 없는 포인트의 학습을 이끌도록 한다.

실험 결과

연구 질문

• RQ1 희소한 애너테이션이 있는 상황에서 적응형이고 일치성 기반의 데이터 증강 기법이 약한 지도 학습 기반 3D 포인트 클라우드 세그먼테이션 성능 향상에 기여할 수 있는가?
• RQ2 포인트 클라우드 기하학 및 특징 분포에 맞게 적응형 변환을 활용해 국소 및 영역 수준의 매끄러움 제약 조건을 효과적으로 모델링할 수 있는가?
• RQ3 제안된 이중 수준의 변환 전략이 다양한 포인트 클라우드 아키텍처와 벤치마크에서 일반화 가능한가?
• RQ4 이 방법은 1T1C와 같은 기존 최신 기준 모델에 플러그 앤 플레이 방식으로 통합했을 때 얼마나 향상시킬 수 있는가?

주요 결과

• S3DIS 데이터셋에서 'One Thing One Click'(1T1C) 설정 하에 DAT는 이전 최신 기준 방법인 1T1C보다 6.5% mIoU 향상하여 62.3% mIoU를 달성한다.
• ScanNet-v2 검증 세트에서 DAT는 1T1C보다 mIoU를 3.0% 향상시켜 1T1C 프레임워크 기반으로 64.4% mIoU를 달성한다.
• 기본 모델에 대해 DAT는 ScanNet-v2 테스트 세트에서 3.2% mIoU 향상, 검증 세트에서 3.9% mIoU 향상으로 강력한 일반화 능력을 입증한다.
• 바이트 기반 백본(MinkowskiNet)에 적용했을 때 DAT는 OTOC 및 OTTC 설정 하에 각각 5.9% 및 3.2% mIoU 향상으로 아키텍처 간 일반화 능력을 확인한다.
• 제거 분석 결과 LAP 및 RAD 모듈이 성능 향상에 기여하며, 클래스 인식 특징 변형이 국소 일치성 향상에 기여함을 확인한다.
• 정성적 결과는 DAT가 오직 20개의 레이블된 포인트만으로도 객체 구조를 유지하고 정확하고 일관된 세그먼테이션을 생성함을 보여준다.