[논문 리뷰] Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level Supervision

Yan Liu, Qingyong Hu외 4명|arXiv (Cornell University)|2022. 01. 09.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

Box2Seg는 오직 경계 상자 수준의 애너테이션과 서브클라우드 수준 태그만을 사용하여 3D 포인트 클라우드의 의미적 분할을 위한 약한 지도 학습 프레임워크를 제안한다. 주목사용 기반 자기 훈련과 포인트 클래스 활성화 맵핑을 활용하여 전경 및 배경 포인트에 대해 정확한 의사 레이블을 생성한다. 이는 S3DIS와 ScanNet에서 완전 지도 학습 기반 모델과 경쟁 가능한 성능을 달성하며, 최소한의 지도 정보로도 뛰어난 성능을 보인다.

ABSTRACT

Learning dense point-wise semantics from unstructured 3D point clouds with fewer labels, although a realistic problem, has been under-explored in literature. While existing weakly supervised methods can effectively learn semantics with only a small fraction of point-level annotations, we find that the vanilla bounding box-level annotation is also informative for semantic segmentation of large-scale 3D point clouds. In this paper, we introduce a neural architecture, termed Box2Seg, to learn point-level semantics of 3D point clouds with bounding box-level supervision. The key to our approach is to generate accurate pseudo labels by exploring the geometric and topological structure inside and outside each bounding box. Specifically, an attention-based self-training (AST) technique and Point Class Activation Mapping (PCAM) are utilized to estimate pseudo-labels. The network is further trained and refined with pseudo labels. Experiments on two large-scale benchmarks including S3DIS and ScanNet demonstrate the competitive performance of the proposed method. In particular, the proposed network can be trained with cheap, or even off-the-shelf bounding box-level annotations and subcloud-level tags.

연구 동기 및 목표

• 완전한 포인트 수준 애너테이션의 부재 또는 높은 비용으로 인해 접근이 어려운 상황에서 최소한의 지도 정보로도 밀도 높은 3D 포인트 수준의 의미 정보를 학습하는 데 도전한다.
• 대규모 3D 데이터셋에서 흔히 존재하는 경계 상자 수준의 애너테이션을 활용하여 약한 지도 학습 기반의 의미적 분할 잠재력을 최대한 활용해보는 것.
• 경계 상자 내외부의 기하학적 및 위상적 사전 지식을 활용하여 전경 및 배경 포인트에 대해 신뢰할 수 있는 의사 레이블을 생성하는 프레임워크를 개발한다.
• 실제 데이터셋에서 흔히 발생하는 노이즈가 있거나 정확도가 떨어지는 경계 상자 애너테이션에 대해 강건성을 확보하여 실용적인 구현이 가능하도록 한다.

제안 방법

• 공간적 종속성과 특징 주목을 모델링하여 경계 상자 내 전경 포인트에 대한 초기 의사 레이블을 생성하기 위해 주목사용 기반 자기 훈련(Attention-based Self-Training, AST) 파이프라인을 활용한다.
• 판별적 영역을 국소화하고 주목적인 포인트 특징을 강조함으로써 전경 의사 레이블을 개선하기 위해 포인트 클래스 활성화 맵핑(Point Class Activation Mapping, PCAM)을 사용한다.
• PCAM에서 유도된 국소화 단서를 채굴하기 위해 전용 포인트 분류기를 훈련시고, 경계 상자 외부의 배경 포인트에 대한 의사 레이블을 생성한다.
• 신뢰도 임계값과 일致성 검사 기반으로 신뢰할 수 없는 의사 레이블을 필터링하는 보완 모듈을 적용하여 학습 중 오류 전파를 줄인다.
• 최종 분할 네트워크를 정제된 의사 레이블을 사용하여 완전 지도 학습 방식으로 훈련시켜 약한 지도 학습에서부터 종단 간 학습을 가능하게 한다.
• 경계 상자 기하학적 특징(예: 중심, 척도, 공간적 범위)에서 유도된 기하학적 사전 지식을 통합하여 의사 레이블 생성을 안내하고 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 포인트 수준의 레이블 없이 경계 상자 수준의 애너테이션만으로도 고성능의 3D 의미 분할 모델을 학습하는 데 충분한가?
• RQ2 주목사용 기반 자기 훈련과 PCAM은 경계 상자 내 전경 포인트에 대해 정확한 의사 레이블을 생성하는 데 얼마나 효과적인가?
• RQ3 전경 특징과 구조적 사전 지식에서 유도된 분류기를 활용해 경계 상자 외부의 배경 포인트를 신뢰성 있게 의사 레이블링할 수 있는가?
• RQ4 실제 데이터셋에서 흔히 발생하는 노이즈가 있거나 정확도가 떨어지는 경계 상자 애너테이션에 대해 제안된 프레임워크는 얼마나 강건한가?
• RQ5 이 프레임워크는 다양한 백본 아키텍처와 대규모 3D 벤치마크 간에 일반화 가능한가?

주요 결과

• Box2Seg는 S3DIS 데이터셋의 Area-5에서 오직 경계 상자와 서브클라우드 수준의 지도 정보만을 사용하여 평균 교차율(mIoU) 60.4%를 달성하였으며, PointNet++(52.3%) 및 PointCNN과 같은 여러 완전 지도 학습 기반 모델을 초월한다.
• 노이즈가 있는 경계 상자 조건에서도 뛰어난 성능 유지를 보였다: 무작위 이동 ±20%일 경우 mIoU는 53.6%로 떨어졌고, 척도 변형 시에는 55.0%로 유지되어 애너테이션 오류에 대한 강건성을 입증하였다.
• 의사 레이블 정제 단계가 성능 향상에 가장 기여하였으며, mIoU를 54.4%에서 60.4%로 향상시켜 신뢰할 수 없는 예측을 필터링하는 것이 일반화에 매우 중요하다는 점을 시사한다.
• 약한 지도 학습 조건에서도 경쟁 가능한 성능을 달성하였으며, S3DIS 및 ScanNet 벤치마크에서 PointNet++ 및 PointCNN과 같은 완전 지도 학습 모델과 동등하거나 이를 초월하는 결과를 보였다.
• PointNet++를 백본으로 사용한 경우에도 44.5%의 mIoU를 기록하여, 다양한 네트워크 아키텍처에 적용 가능한 유연성을 입증하였지만, 특징 추출 한계로 인한 성능 격차가 존재함을 확인하였다.
• 제거 실험 결과, 주목 조절, 의사 레이블링, 정제의 조합이 최고의 성능(60.4% mIoU)을 내며, 특히 정제 단계가 가장 큰 영향을 미친다는 것이 확인되었다.