[논문 리뷰] PointWise: An Unsupervised Point-wise Feature Learning Network

Matan Shoef, Sharon Fogel외 1명|arXiv (Cornell University)|2019. 01. 14.

3D Shape Modeling and Analysis참고 문헌 12인용 수 13

한 줄 요약

PointWise는 레이블이 전혀 필요 없는 원시 3D 포인트 클라우드에서 의미적으로 유의미한 포인트별 특징을 학습하기 위한 비지도 학습 기반 딥러닝 프레임워크를 제안한다. 국소 패치 복원과 공간적 매끄러움을 강제하는 트리플릿 손실을 통한 자기지도 학습을 활용함으로써, 풍부하고 기술적인 임베딩을 생성하여 비지도 파트 분할, 의미적 유사성 탐색, 모델 간 포인트 대응을 가능하게 한다.

ABSTRACT

We present a novel approach to learning a point-wise, meaningful embedding for point-clouds in an unsupervised manner, through the use of neural-networks. The domain of point-cloud processing via neural-networks is rapidly evolving, with novel architectures and applications frequently emerging. Within this field of research, the availability and plethora of unlabeled point-clouds as well as their possible applications make finding ways of characterizing this type of data appealing. Though significant advancement was achieved in the realm of unsupervised learning, its adaptation to the point-cloud representation is not trivial. Previous research focuses on the embedding of entire point-clouds representing an object in a meaningful manner. We present a deep learning framework to learn point-wise description from a set of shapes without supervision. Our approach leverages self-supervision to define a relevant loss function to learn rich per-point features. We train a neural-network with objectives based on context derived directly from the raw data, with no added annotation. We use local structures of point-clouds to incorporate geometric information into each point's latent representation. In addition to using local geometric information, we encourage adjacent points to have similar representations and vice-versa, creating a smoother, more descriptive representation. We demonstrate the ability of our method to capture meaningful point-wise features through three applications. By clustering the learned embedding space, we perform unsupervised part-segmentation on point clouds. By calculating euclidean distance in the latent space we derive semantic point-analogies. Finally, by retrieving nearest-neighbors in our learned latent space we present meaningful point-correspondence within and among point-clouds.

연구 동기 및 목표

• 라벨이 없는 데이터에 의존하지 않고 3D 포인트 클라우드에 대한 의미 있는 포인트별 표현을 학습하는 것.
• 오직 기하학적 구조만을 사용하여 비정규적이고 순서가 없는 포인트 클라우드에서 비지도 특징 학습의 과제를 해결하는 것.
• 잠재 공간 내에서 국소 기하학적 구조와 공간적 매끄러움을 모두 포괄하는 자기지도 학습 목표를 개발하는 것.
• 학습된 특징의 의미적 유용성을 다양한 후행 응용 분야에서 입증하는 것.

제안 방법

• PointNet와 유사하게 원시 좌표에서 초기 포인트별 특징을 추출하기 위해 공유된 다층 퍼셉트론(MLP)을 사용한다.
• 특정 포인트의 국소 이웃을 잠재 특징 벡터에서 복원하도록 유도하는 국소 패치 복원 손실을 도입한다.
• 3D 공간적 근접도를 기반으로 한 트리플릿 손실을 적용: 가까운 포인트들은 유사한 임베딩을 가져야 하며, 먼 포인트들은 다를 것임을 강제한다.
• 복원 손실과 트리플릿 손실을 조합하여 원시 포인트 클라우드 기하학적 구조만을 사용해 네트워크를 동시에 자기지도 학습시킨다.
• 학습된 특징에서 국소 포인트 패치를 복원하기 위해 디코더 헤드를 활용하여 형태 보완 및 통합을 가능하게 한다.
• 전역적 맥락을 유지하면서 국소 구조를 학습하기 위해 대칭적 최대 풀링과 특징 연결을 활용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 레이블이나 애너테이션 없이도 3D 포인트 클라우드에서 의미적으로 의미 있는 포인트별 특징을 학습할 수 있는가?
• RQ2 국소 기하학적 구조와 공간적 매끄러움을 기반으로 한 자기지도 학습 목표는 원시 좌표보다 더 풍부한 표현을 생성할 수 있는가?
• RQ3 학습된 잠재 공간은 군집화를 통해 비지도 파트 분할을 지원할 수 있는가?
• RQ4 학습된 잠재 공간에서 벡터 산술 연산을 통해 의미적 유사성을 탐지할 수 있는가?
• RQ5 잠재 공간 내에서의 최근접 이웃 검색을 통해 서로 다른 포인트 클라우드 간에 의미적으로 유사한 포인트를 식별할 수 있는가?

주요 결과

• 학습된 포인트별 특징은 3D 주성분 분석(PCA) 시각화에서 색상 코딩을 통해 물체의 일부(예: 의자에서 팔걸이)와 같은 의미적 속성을 잘 포착하고 있다.
• 학습된 잠재 공간의 비지도 군집화가 원시 좌표를 사용하는 기준 모델보다 더 의미 있는 파트 분할을 달성한다.
• 잠재 공간 내에서의 벡터 산술 연산을 통해 '팔걸이'에서 '다리'로의 의미적 유사성과 같은 포인트 유사성을 성공적으로 계산할 수 있다.
• 잠재 공간 내에서의 최근접 이웃 검색은 공간적으로 떨어져 있더라도 서로 다른 모델 간에 의미적으로 유사한 포인트를 식별할 수 있다.
• 이 프레임워크는 다양한 물체 유형으로 일반화되며, 동일 카테고리의 포인트 클라우드 간에 일관된 의미적 대응 관계를 유지한다.
• 디코더 모듈을 통해 형태 보완 및 통합이 가능하여, 학습된 국소 패치 복원 능력의 실용성을 입증한다.