[논문 리뷰] Label-Efficient Point Cloud Semantic Segmentation: An Active Learning Approach

Xian Shi, Xun Xu외 4명|arXiv (Cornell University)|2021. 01. 18.

3D Shape Modeling and Analysis참고 문헌 27인용 수 18

한 줄 요약

이 논문은 클릭 기반의 어노테이션 비용 측정 방식과 불확실성, 다양성, 형태 수준 일致성의 조합을 고려한 새로운 할당 함수를 포함한 슈퍼포인트 기반의 액티브 러닝 프레임워크를 제안한다. 이는 전체 클릭 수의 0.8%에 불과한 비용으로 완전히 감독된 학습 성능의 95% 이상을 달성하며, 포인트 수준 및 인스턴스 수준의 선택 전략을 능가한다.

ABSTRACT

Deep learning models are the state-of-the-art methods for semantic point cloud segmentation, the success of which relies on the availability of large-scale annotated datasets. However, it can be extremely time-consuming and prohibitively expensive to compile such datasets. In this work, we propose an active learning approach to maximize model performance given limited annotation budgets. We investigate the appropriate sample granularity for active selection under realistic annotation cost measurement (clicks), and demonstrate that super-point based selection allows for more efficient usage of the limited budget compared to point-level and instance-level selection. We further exploit local consistency constraints to boost the performance of the super-point based approach. We evaluate our methods on two benchmarking datasets (ShapeNet and S3DIS) and the results demonstrate that active learning is an effective strategy to address the high annotation costs in semantic point cloud segmentation.

연구 동기 및 목표

• 대규모 3D 포인트 클라우드 세그먼테이션 데이터셋의 높은 어노테이션 비용 문제를 해결하기 위해.
• 실제 클릭 기반 비용 측정 조건 하에서 포인트 수준, 슈퍼포인트 수준, 인스턴스 수준의 효과적인 샘플 선택 정밀도를 조사하기 위해.
• 할당 함수에 형태 다양성 항목과 국소 일致성 제약 조건을 도입하여 제한된 어노테이션 예산 하에서도 모델 성능을 향상시키기 위해.
• 액티브 러닝이 3D 세그먼테이션에서 레이블링 노력 감소에 실현 가능하고 효율적인 전략임을 입증하기 위해.

제안 방법

• 기하학적으로 유사한 포인트들을 슈퍼포인트로 묶어 각 레이블링 비용을 줄이는 슈퍼포인트 기반 선택 기법을 제안한다.
• 기존의 포인트 수 기반 측정 방식을 대체하여 실제 레이블링 과정의 노력에 반영된 클릭 기반 어노테이션 비용 측정 지표를 도입한다.
• 불확실성, 특징 다양성, 그리고 새로운 형태 수준의 다양성 항목을 조합한 하이브리드 할당 함수를 설계하여 정보성 있는 샘플 선택을 유도한다.
• 각 슈퍼포인트 내에서 일관된 예측을 강제하기 위해 국소 일치 손실을 적용하여, 미레이블된 데이터를 활용해 일반화 성능을 향상시킨다.
• 기하학적 특징 유무를 고려한 슈퍼포인트 클러스터링을 수행하여 그룹화의 강건성과 노이즈 감소 효과를 평가한다.
• 이중 단계 트레이닝 파이프라인을 활용한다: 먼저 약한 레이블이 부여된 데이터로 사전 학습을 수행한 후, 모델 미세조정을 반복하는 액티브 러닝을 수행한다.

실험 결과

연구 질문

• RQ1 실제 클릭 기반 비용 측정 조건 하에서 슈퍼포인트 기반 선택이 포인트 수준 또는 인스턴스 수준 선택보다 더 효율적인가?
• RQ2 할당 함수에 형태 수준의 다양성을 통합할 경우 제한된 어노테이션 예산 하에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 슈퍼포인트 내 국소 일치 제약 조건을 도입하면, 미레이블된 데이터를 활용해 모델 일반화 성능을 향상시킬 수 있는가?
• RQ4 어노테이션 효율성과 세그먼테이션 정확도를 균형 있게 유지하기 위해 형태당 최적의 슈퍼포인트 수는 얼마인가?

주요 결과

• 슈퍼포인트 기반 선택은 동일한 클릭 예산 하에서 포인트 수준 및 인스턴스 수준 선택 전략을 모두 능가하는 높은 성능 효율성을 확보한다.
• 불확실성, 다양성, 형태 수준 항목을 포함한 제안된 할당 함수는 기준 전략 대비 모델 정확도를 크게 향상시킨다.
• 슈퍼포인트 클러스터링에 기하학적 특징을 통합할 경우, 형태당 50개의 슈퍼포인트에서 노이즈 비율이 5.05%에서 4.82%로 감소하여 그룹화 품질이 향상된다.
• 형태를 500개의 슈퍼포인트로 클러스터링할 경우 10,000개 클릭 예산 하에서 mIoU가 69.0%로 가장 높게 나타나, 50~1,000개 슈퍼포인트 설정보다 뛰어난 성능을 보였다.
• 전체 어노테이션 비용의 0.8%에 해당하는 200,000개 클릭만으로도 ShapeNet 및 S3DIS 데이터셋에서 완전히 감독된 기준 모델의 mIoU의 95% 이상을 달성한다.
• 랜덤 선택이 놀랍게도 일부 설정에서 전통적인 불확실성 및 다양성 방법보다 우수한 성능을 보이며, 3D 포인트 클라우드 레이블링에서 고유한 과제가 있음을 시사한다.