[논문 리뷰] Points2Vec: Unsupervised Object-level Feature Learning from Point Clouds

Joël Bachmann, Kenneth Blomqvist외 2명|arXiv (Cornell University)|2021. 02. 08.

3D Shape Modeling and Analysis참고 문헌 2인용 수 5

한 줄 요약

Points2Vec는 실내 환경의 문맥적 관계를 활용하여 3D 포인트 클라우드에서 의미론적 객체 수준의 특징 표현을 비지도 학습 방식으로 학습하는 방법을 제안한다. PointNet 기반의 오토에인코더에 시나리오 문맥을 통합한 대비 손실 함수를 적용함으로써, 저차원이고 의미론적으로 유의미한 임베딩을 학습하며, 기준 오토에인코더 대비 클러스터링 및 재구성 성능을 향상시킨다. 테스트 데이터에서 찰퍼 거리가 8% 낮아져 성능 향상을 입증한다.

ABSTRACT

Unsupervised representation learning techniques, such as learning word embeddings, have had a significant impact on the field of natural language processing. Similar representation learning techniques have not yet become commonplace in the context of 3D vision. This, despite the fact that the physical 3D spaces have a similar semantic structure to bodies of text: words are surrounded by words that are semantically related, just like objects are surrounded by other objects that are similar in concept and usage. In this work, we exploit this structure in learning semantically meaningful low dimensional vector representations of objects. We learn these vector representations by mining a dataset of scanned 3D spaces using an unsupervised algorithm. We represent objects as point clouds, a flexible and general representation for 3D data, which we encode into a vector representation. We show that using our method to include context increases the ability of a clustering algorithm to distinguish different semantic classes from each other. Furthermore, we show that our algorithm produces continuous and meaningful object embeddings through interpolation experiments.

연구 동기 및 목표

• 포인트 클라우드에서 3D 객체의 의미론적, 저차원 벡터 표현을 비지도 학습 방식으로 학습하는 방법을 개발하는 것.
• 장면 내 주변 객체의 문맥 정보를 통합하여 학습된 특징의 의미론적 함의를 향상시키는 것.
• 클러스터링 성능와 재구성 정확도를 통해 학습된 임베딩의 품질을 평가하는 것.
• 문맥 인식 특징 학습이 3D 비전 작업에서의 후속 표현 품질을 향상시킨다는 것을 입증하는 것.
• 자연어처리에서 word2vec에 상응하는, 문맥 인식 기반 비지도 3D 표현 학습의 기준 성능을 설정하는 것.

제안 방법

• 모델은 인스턴스 세그먼테이션된 포인트 클라우드를 처리하기 위해 PointNet 기반의 인코더-디코더 아키텍처를 사용한다.
• 유사한 의미를 가진 객체가 가까운 임베딩을 가지도록 유도하기 위해 대비 손실 함수를 적용하며, 양성 쌍은 장면 내 문맥적 근접도로 정의된다.
• 마진 기반 대비 손실과 재구성 손실을 사용하여, Replica 데이터셋에서 엔드 투 엔드로 모델을 훈련한다.
• 문맥 모듈은 주변 객체의 특징을 통합하여 각 타겟 객체의 표현을 풍부하게 한다.
• 잠재 코드(256차원)가 최종 객체 임베딩이 되며, 이는 지도 학습에 사용되는 진짜 의미 레이블 없이도 학습된다.
• 공유 가중치를 가진 MLP, 배치 정규화, 최대 풀링을 포함하여 순열 불변성을 보장한다.

실험 결과

연구 질문

• RQ1 3D 장면의 문맥은 비지도 포인트 클라우드 임베딩의 의미론적 품질을 향상시킬 수 있는가?
• RQ2 장면의 문맥을 통합하면 고립된 포인트 클라우드 처리에 비해 의미적으로 유사한 객체의 클러스터링 성능이 향상되는가?
• RQ3 학습된 임베딩은 객체 인스턴스 간의 의미 있는 보간을 지원할 수 있는가?
• RQ4 문맥 인식 모델의 재구성 및 클러스터링 성능는 표준 PointNet 오토에인코더와 비교해 어떻게 되는가?
• RQ5 학습된 임베딩 공간은 연속적이며 의미적으로 일관된가? 보간 및 최근접 이웃 검색 결과로 이를 입증할 수 있는가?

주요 결과

• Points2Vec 모델은 테스트 세트에서 평균 찰퍼 거리(Average Chamfer Distance, ACD) 0.0946을 기록하여, PointNet 오토에인코더의 0.103 ACD 대비 8% 향상된 성능을 보였다.
• 학습된 임베딩에 대해 비지도 k-평균 클러스터링을 적용한 결과, 기준 모델 대비 의미론적 클래스 간 분리가 향상되었다.
• 객체 임베딩 간 보간을 통해 의미적으로 타당한 중간 형태가 생성되어, 학습된 벡터 공간의 연속성과 의미론적 일관성을 확인하였다.
• 형태적으로 유사하지 않은 객체(예: 의자와 테이블)도 검색 과제에서 의미적으로 유사한 객체로 정확히 검색하였다.
• 문맥 인식 대비 손실이 특징 품질을 크게 향상시켜, 기준 오토에인코더 대비 더 나은 클러스터링 및 재구성 성능을 보였다.
• 모델은 새로운 장면에도 일반화 가능하며, 테스트 세트에서 일관된 성능을 보여, 강건성과 일반화 능력을 입증하였다.