[논문 리뷰] Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts

Ji Hou, Benjamin Graham외 2명|arXiv (Cornell University)|2020. 12. 16.

3D Surveying and Cultural Heritage참고 문헌 70인용 수 17

한 줄 요약

이 논문은 3차원 시점 이해에서 데이터 효율성을 향상시키기 위해 점 수준의 대응 관계와 공간적 맥락을 동시에 활용하는 3차원 자기지도 학습 사전 훈련 방법인 대비적 시점 맥락(Contrastive Scene Contexts)을 제안한다. 레이블이 없는 포인트 클라우드에서 사전 훈련하고, 최소한의 레이블로 미세조정함으로써, 인스턴스 세분화 작업에서 전체 레이블링 성능의 89%를 달성하면서 레이블 비용을 크게 줄였으며, PointContrast와 같은 이전 방법들을 능가한다.

ABSTRACT

The rapid progress in 3D scene understanding has come with growing demand for data; however, collecting and annotating 3D scenes (e.g. point clouds) are notoriously hard. For example, the number of scenes (e.g. indoor rooms) that can be accessed and scanned might be limited; even given sufficient data, acquiring 3D labels (e.g. instance masks) requires intensive human labor. In this paper, we explore data-efficient learning for 3D point cloud. As a first step towards this direction, we propose Contrastive Scene Contexts, a 3D pre-training method that makes use of both point-level correspondences and spatial contexts in a scene. Our method achieves state-of-the-art results on a suite of benchmarks where training data or labels are scarce. Our study reveals that exhaustive labelling of 3D point clouds might be unnecessary; and remarkably, on ScanNet, even using 0.1% of point labels, we still achieve 89% (instance segmentation) and 96% (semantic segmentation) of the baseline performance that uses full annotations.

연구 동기 및 목표

• 실세계 시점 이해에서 레이블이 부여된 3차원 포인트 클라우드의 높은 비용과 부족함을 해결하기 위해.
• 광범위한 인간 레이블링 데이터에 의존하지 않고도 데이터 효율적인 3차원 학습을 탐색하기 위해.
• 제한된 감독 하에 인스턴스 세분화 및 물체 검출과 같은 후행 작업에서 3차원 모델의 전이 가능성과 성능을 향상시키기 위해.
• 학습된 특징 군집화를 통해 정보가 풍부하고 다양한 포인트를 우선순위로 정한 활성 레이블링 전략과 같은 실용적인 데이터 수집 전략을 가능하게 하기 위해.
• 맥락 인식 자기지도 사전 훈련을 사용할 경우, 3차원 레이블링을 완전히 수행할 필요가 없음을 입증하기 위해.

제안 방법

• 3차원 시점에서 점 수준의 대응 관계와 공간 맥락을 동시에 최적화하는 대비 학습 프레임워크를 제안한다.
• 무작위 자르기와 포인트 제거와 같은 데이터 증강 기법을 사용하여 대비 학습을 위한 양성 및 음성 샘플을 생성한다.
• 지역 이웃 그래프를 구성하여 공간 맥락을 통합하고, 이를 양성 샘플 형성의 일부로 활용한다.
• 공유 가중치를 가진 시아미즈 네트워크 아키텍처를 사용하여 포인트 클라우드 특징을 인코딩하고 대비 손실을 계산한다.
• 사전 훈련된 특징을 사용하여 후행 작업 모델을 초기화하고, 최소한의 레이블 데이터로 미세조정한다.
• 사전 훈련된 포인트 특징을 군집화하여 정보가 풍부하고 다양한 포인트를 우선순위로 정한 활성 레이블링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대비 학습에 공간 맥락을 통합하면 데이터 효율적인 시점 이해를 위한 3차원 표현 학습이 향상될 수 있는가?
• RQ2 3차원 인스턴스 세분화 및 의미 세분화에서 경쟁적인 성능를 달성하기 위해 얼마나 적은 레이블 데이터가 필요한가?
• RQ3 자기지도 사전 훈련이 3차원 포인트 클라우드 데이터셋에서 광범위한 인간 레이블링의 필요성을 줄일 수 있는가?
• RQ4 제안된 방법이 혼잡한 3차원 시점에서 효과적인 활성 학습 전략을 가능하게 하는가?
• RQ5 자료가 부족한 환경에서 PointContrast와 같은 최첨단 방법과 비교해 제안된 방법의 성능는 어떻게 되는가?

주요 결과

• ScanNet에서, 이 방법은 인스턴스 세분화의 기준 mAP@0.5 성능의 89%를 레이블이 0.1%에 불과한 경우에 달성한다.
• 의미 세분화의 경우, 동일한 0.1% 레이블 예산으로 전체 레이블링 성능의 96%를 달성한다.
• 제한된 레이블링(Limited Annotations, LA) 설정에서, 각 시점당 200개의 레이블만으로 인스턴스 세분화의 mAP@0.5에서 PointContrast를 5.4점 이상 앞선다.
• S3DIS에서, 이 방법은 의미 세분화에서 mIoU 72.2%를 달성하여 PointContrast에서 보고한 감독 사전 훈련 결과를 뛰어넘는다.
• 제한된 시점 재구성(Limited Scene Reconstructions, LR) 설정에서, 시점의 20%만으로 훈련할 때 제안된 사전 훈련 가중치로 미세조정하면 mAP@0.5가 16.3점 향상된다.
• 사전 훈련된 특징에 기반한 활성 레이블링은 혼잡한 시점에서 더 많은 고유한 물체를 커버하며, 더 높은 샘플링 효율성을 보여준다.