[논문 리뷰] ReDAL: Region-based and Diversity-aware Active Learning for Point Cloud Semantic Segmentation

Tsung-Han Wu, Yueh-Cheng Liu외 5명|arXiv (Cornell University)|2021. 07. 25.

3D Shape Modeling and Analysis참고 문헌 30인용 수 4

한 줄 요약

ReDAL은 점군 세분화를 위한 영역 기반 및 다양성 인식 활성 학습 프레임워크로, 레이블링 비용을 줄이기 위해 정보량이 많고 다양한 하위 시나리오 영역만 선택한다. 소프트맥스 엔트로피, 색상 불연속성, 구조적 복잡도를 조합하여 영역를 평가하고 탐욕적인 다양성 인식 선택을 적용함으로써, S3DIS에서는 15% 미만, SemanticKITTI에서는 5% 미만의 레이블링으로 완전 지도 학습 성능의 90%를 달성한다.

ABSTRACT

Despite the success of deep learning on supervised point cloud semantic segmentation, obtaining large-scale point-by-point manual annotations is still a significant challenge. To reduce the huge annotation burden, we propose a Region-based and Diversity-aware Active Learning (ReDAL), a general framework for many deep learning approaches, aiming to automatically select only informative and diverse sub-scene regions for label acquisition. Observing that only a small portion of annotated regions are sufficient for 3D scene understanding with deep learning, we use softmax entropy, color discontinuity, and structural complexity to measure the information of sub-scene regions. A diversity-aware selection algorithm is also developed to avoid redundant annotations resulting from selecting informative but similar regions in a querying batch. Extensive experiments show that our method highly outperforms previous active learning strategies, and we achieve the performance of 90% fully supervised learning, while less than 15% and 5% annotations are required on S3DIS and SemanticKITTI datasets, respectively. Our code is publicly available at https://github.com/tsunghan-wu/ReDAL.

연구 동기 및 목표

• 대규모 점군 세분화의 높은 레이블링 비용을 줄이기 위해 레이블링을 정보량이 가장 많은 영역에 집중시키는 것.
• 모델 성능 향상에 기여도가 낮은 반복적이거나 균일한 영역(예: 벽, 바닥)의 레이블링 비효율성을 해결하는 것.
• 다양한 딥러닝 아키텍처와 호환 가능한 일반화 가능한 활성 학습 프레임워크를 개발하는 것.
• 작은, 복잡하거나 희귀한 물체(예: 사람, 의자)를 대규모 균일 표면보다 우선순위를 높임으로써 레이블 불균형을 완화하는 것.
• 학습 효율성을 향상시키기 위해 유사한 시각적 영역을 반복해서 쿼리하는 것을 방지하기 위해 다양성 인식 선택 메커니즘을 도입하는 것.

제안 방법

• 모델의 불확실성을 측정하고 예측이 모호한 영역을 식별하기 위해 소프트맥스 엔트로피를 사용한다.
• 시각적 및 기하학적 변동성이 높은 영역(학습에 더 유용한 영역)을 식별하기 위해 색상 불연속성과 구조적 복잡도를 보조 신호로 사용한다.
• 클러스터링 기반 방법을 통해 점군에서 영역을 추출하고, 엔트로피, 색상 불연속성, 구조적 복잡도의 가중 조합을 통해 각 영역을 평가한다.
• 학습된 임bedding 공간에서 특징 수준의 유사도를 측정함으로써, 쿼리 배치 내 유사한 영역에 벌점을 적용함으로써 다양성 인식 탐욕적 선택 알고리즘을 적용한다.
• 반복적으로 작동한다: 영역 선택 → 레이블 확보 → 모델 재학습 → 반복하여 성능 포화에 도달할 때까지 반복한다.
• 이 방법은 다양한 점군 네트워크(예: SPVCNN, MinkowskiNet)와 데이터셋(S3DIS, SemanticKITTI)과 호환된다.

실험 결과

연구 질문

• RQ1 전체 점군 대신 하위 시나리오 영역만 선택함으로써 3차원 세분화에서 레이블링 비용을 크게 줄일 수 있을까, 성능 저하 없이?
• RQ2 모델 불확실성 외에 시각적 및 구조적 신호를 활용해 영역의 정보량을 효과적으로 측정할 수 있을까?
• RQ3 유사한 영역를 반복해서 쿼리하는 것을 방지함으로써 다양성 인식 선택이 3차원 점군 환경에서 활성 학습 효율성을 얼마나 향상시킬 수 있을까?
• RQ4 영역 기반 및 다양성 인식 전략이 전통적인 스캔 수준 활성 학습 및 무작위 샘플링보다 레이블 효율성 측면에서 뛰어나게 작용할 수 있을까?
• RQ5 제안된 방법이 레이블링 선택 시 희귀하거나 복잡한 물체를 우선순위로 삼음으로써 클래스 불균형 문제를 어떻게 해결할 수 있을까?

주요 결과

• S3DIS 데이터셋에서 ReDAL은 전체 레이블링의 15% 미만으로 완전 지도 학습의 평균 교차율(mIoU)의 90%를 달성한다.
• SemanticKITTI 데이터셋에서는 ReDAL이 레이블링 점수의 5%만으로도 완전 지도 학습과 유사한 성능을 달성한다.
• 동일한 네트워크 아키텍처 하에서 영역 기반 선택 전략은 스캔 수준 활성 학습 대비 mIoU를 10% 이상 향상시킨다.
• 다양성 인식 구성 요소는 유사한 시각적 영역의 반복 레이블링을 방지하여 성능 향상에 기여한다 — 특히 SPVCNN에서 무작위 영역 선택보다 뛰어난 성능을 보인다.
• 색상 및 구조적 복잡도 특징을 추가하면 레이블링 비율이 9%를 초과할 경우 MinkowskiNet에서 성능 향상이 나타나지만, SPVCNN에는 거의 영향을 주지 않는다.
• 이 방법은 작은, 복잡한 물체(예: 사람, 자전거)에 더 많은 레이블링 예산을 할당함으로써 레이블 불균형을 줄이며, 저조도 레이블링 예산 하에서 이들의 IoU를 최대 29.5%까지 향상시킨다.