[논문 리뷰] Few-Shot Point Cloud Region Annotation with Human in the Loop

Siddhant Jain, Sowmya Munukutla외 1명|arXiv (Cornell University)|2019. 06. 11.

3D Shape Modeling and Analysis참고 문헌 12인용 수 6

한 줄 요약

이 논문은 소수의 포인트 클라우드 영역 주석을 위해 인간이 참여하는 프레임워크를 제안하며, 희소한 인간 주석, 기하학적 영역 성장, 사전 훈련된 모델의 반복적 소수 학습 미세조정을 결합하여 최소한의 인간 상호작용으로 높은 정확도의 의미 분할을 달성한다. 이 방법은 수동 방식에 비해 주석 작업을 최대 80% 감소시키며, 데이터셋 크기가 증가함에 따라 효율적으로 확장되어 대규모 3D 데이터셋에 대해 고품질의 다중 해상도 주석을 가능하게 한다.

ABSTRACT

We propose a point cloud annotation framework that employs human-in-loop learning to enable the creation of large point cloud datasets with per-point annotations. Sparse labels from a human annotator are iteratively propagated to generate a full segmentation of the network by fine-tuning a pre-trained model of an allied task via a few-shot learning paradigm. We show that the proposed framework significantly reduces the amount of human interaction needed in annotating point clouds, without sacrificing on the quality of the annotations. Our experiments also suggest the suitability of the framework in annotating large datasets by noting a reduction in human interaction as the number of full annotations completed by the system increases. Finally, we demonstrate the flexibility of the framework to support multiple different annotations of the same point cloud enabling the creation of datasets with different granularities of annotation.

연구 동기 및 목표

• 세밀한 의미 분할에 특화된 수동 3D 포인트 클라우드 주석의 높은 노동력 비용과 비효율성을 해결하기 위해.
• 대규모 3D 데이터셋에서 높은 주석 품질을 유지하면서 인간 주석 부담을 줄이기 위해.
• 동일한 객체에 대해 다양한 클래스 수를 지원함으로써 영역의 다양한 해상도 분할을 유연하게 가능하게 하기 위해.
• 다양한 포인트 클라우드를 거쳐 경험에 따라 향상되는 확장 가능한 주석 프레임워크를 구축하기 위해.
• 사용자 클릭 수와 인지적 부담을 최소화하기 위해 인간 피드백과 모델 예측을 반복적으로 통합하기 위해.

제안 방법

• 프레임워크는 각 의미 클래스당 몇 개의 대표 포인트를 레이블링하는 희소한 인간 주석으로 시작된다.
• 3D 기하학적 단서를 활용한 영역 성장 기법을 통해 이러한 레이블을 전파하여 초기이고 거친 분할을 생성한다.
• 새로운 주석된 포인트를 기반으로 소수 학습을 통해 사전 훈련된 모델을 미세조정하여 예측 정확도를 향상시킨다.
• 모델이 전체 분할을 예측한 후, 사용자가 희소한 피드백을 통해 이를 수정한다.
• 이러한 모델 미세조정, 예측, 인간 수정의 사이클을 수렴할 때까지 반복함으로써 추가적인 수동 입력의 필요성을 줄인다.
• 시스템은 시간이 지남에 따라 적응한다: 더 많은 포인트 클라우드가 주석 처리될수록 모델은 데이터셋의 특성에 더 잘 적응하여 이후 주석 처리에 필요한 사용자 수정 수를 줄인다.

실험 결과

연구 질문

• RQ1 소수 학습 접근법이 조밀한 포인트 클라우드 분할을 위한 인간 상호작용 수를 크게 줄일 수 있는가?
• RQ2 제안된 프레임워크의 주석 효율성은 사용자 클릭 수와 소요 시간 측면에서 완전히 수동 주석 방식에 비해 어떻게 비교되는가?
• RQ3 반복적 훈련을 거친 후, 동일한 데이터셋의 새로운 포인트 클라우드에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 재학습 없이도 동일한 포인트 클라우드에 대해 다양한 분할 해상도를 지원할 수 있는가?
• RQ5 기하학적 단서와 인간 피드백의 통합이 최소한의 감독 하에 어떻게 분할 정확도를 향상시키는가?

주요 결과

• 이 프레임워크는 포인트 클라우드 주석에 대해 단순한 최근접 이웃 페인팅 방법에 비해 평균 사용자 클릭 수를 최대 80% 감소시킨다.
• 매번 추가로 주석 처리된 포인트 클라우드가 늘어날수록 주석 효율성이 향상되며, 모델이 데이터셋의 특성에 적응함에 따라 시간이 지남에 따라 필요한 사용자 수정 수가 감소한다.
• qualitative 결과를 통해 실제 복잡한 노이즈가 있는 재구성 포인트 클라우드에서도 고품질의 분할을 달성함을 입증하였다. 이는 Large Dataset of Object Scans에서 확인되었다.
• 프레임워크는 영역의 다양한 해상도 분할을 지원한다: 사용자는 동일한 객체에 대해 다른 클래스 수를 정의할 수 있으며, 네트워크의 최종 레이어를 동적으로 재초기화할 수 있다.
• 후속 포인트 클라우드에 대해 클릭 수가 크게 감소함에 따라 확장성과 데이터셋 간의 학습 전이 능력이 뛰어나다는 것을 보여준다.
• 최소한의 감독 하에 높은 주석 품질을 유지함으로써 인간 피드백, 기하학적 일관성, 소수 학습의 조합이 효과적임을 입증한다.