[논문 리뷰] Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds

Yongming Rao, Jiwen Lu외 1명|arXiv (Cornell University)|2020. 03. 29.

3D Shape Modeling and Analysis참고 문헌 52인용 수 12

한 줄 요약

이 논문은 국소적 부분과 전반적 형태 사이의 상호 이원적 추론을 활용하는 자기지도 학습 방법인 글로벌-로컬 이원적 추론(GLOBAL-LOCAL BIDIRECTIONAL REASONING, GLR)을 제안한다. 이는 비지도 학습을 통해 3D 포인트 클라우드 표현을 학습하는 데에 효과적이다. 국소에서 전반으로의 거리 학습과 전반에서 국소로의 재구성/정규 벡터 추정을 함께 최적화함으로써 GLR는 최신 성능을 달성한다 — SSG PointNet++ 백본을 단순하고 넓게 사용함으로써 ModelNet40(93.0%)과 ScanObjectNN(87.2%)에서 지도 학습 모델을 초월한다.

ABSTRACT

Local and global patterns of an object are closely related. Although each part of an object is incomplete, the underlying attributes about the object are shared among all parts, which makes reasoning the whole object from a single part possible. We hypothesize that a powerful representation of a 3D object should model the attributes that are shared between parts and the whole object, and distinguishable from other objects. Based on this hypothesis, we propose to learn point cloud representation by bidirectional reasoning between the local structures at different abstraction hierarchies and the global shape without human supervision. Experimental results on various benchmark datasets demonstrate the unsupervisedly learned representation is even better than supervised representation in discriminative power, generalization ability, and robustness. We show that unsupervisedly trained point cloud models can outperform their supervised counterparts on downstream classification tasks. Most notably, by simply increasing the channel width of an SSG PointNet++, our unsupervised model surpasses the state-of-the-art supervised methods on both synthetic and real-world 3D object classification datasets. We expect our observations to offer a new perspective on learning better representation from data structures instead of human annotations for point cloud understanding.

연구 동기 및 목표

• 인간이 주석을 달지 않은 상태에서 강력하고 일반화 가능한 3D 포인트 클라우드 표현을 학습하기 위해.
• 3D 물체의 국소적 부분과 전반적 형태 간에 공유되는 구조적 지식과 고수준 의미적 지식을 모두 포착하기 위해.
• 3D 포인트 클라우드 내부의 본질적 구조 일관성을 활용하여 비지도 표현 학습을 향상시키기 위해, 국소 부분이 전반적 특성을 반영한다는 점을 고려하여.
• 비지도 모델이 후속 작업에서 분류 능력과 내성적 강건성 면에서 지도 학습 모델을 능가할 수 있음을 보여주기 위해.

제안 방법

• 국소-전반 및 전반-국소 추론을 결합한 이원 스트림 프레임워크인 글로벌-로컬 이원적 추론(GLOBAL-LOCAL BIDIRECTIONAL REASONING, GLR)을 제안한다.
• 국소-전반 추론을 자기지도 학습 거리 학습 과제로 사용: 국소 특징은 다른 물체의 특징보다 그에 해당하는 전반적 특징과 더 가까워지도록 유도된다.
• 전반-국소 추론을 자기재구성 및 정규 벡터 추정을 통해 구현하여 전반적 특징이 세부적인 구조 정보를 포함하도록 보장한다.
• 대조 손실을 사용하여 최종적으로 엔드 투 엔드로 훈련되는 재구성 및 정규 벡터 추정을 위한 보조 헤드를 백본 네트워크(SSF PointNet++)와 통합한다.
• 다운스트림 분류를 위해 최종 표현으로 최대 풀링된 전반적 특징을 사용하며, 인간이 주석을 달지 않은 상태에서 훈련된다.
• 비지도 특징의 분류 능력을 평가하기 위해 선형 SVM을 적용한다.

실험 결과

연구 질문

• RQ1 국소 부분과 전반적 형태 사이의 이원적 추론이 비지도 3D 포인트 클라우드 표현 학습을 향상시킬 수 있는가?
• RQ2 구조적·의미적 일관성을 기반으로 한 자기지도 학습이 후속 작업에서 지도 학습 사전 훈련을 능가할 수 있는가?
• RQ3 단순하고 넓은 SSG PointNet++ 백본이 GLR로 사전 훈련된 후 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 부분과 전체 물체 간의 공유 속성 학습이 3D 분류에서 일반화 능력과 강건성을 향상시키는가?

주요 결과

• 비지도 GLR 모델은 ModelNet40에서 단일 시야 분류 정확도 93.0%를 달성하여 최신 지도 학습 방법을 초월한다.
• 실세계 데이터셋인 ScanObjectNN에서 GLR 모델은 87.2%의 정확도를 기록하며, 최신 비지도 및 지도 학습 기준 모델을 모두 능가한다.
• 단순하고 좁은 SSG PointNet++ 백본을 사용한 비지도 GLR 모델도 ModelNet40에서 92.2%의 정확도를 달성하여 많은 지도 학습 모델을 초월한다.
• 여러 벤치마크를 통해 검증된 결과, GLR가 학습한 비지도 표현은 지도 학습 모델의 표현보다 더 분류 능력이 뛰어나고, 일반화 능력과 강건성이 뛰어나다.
• SSG PointNet++ 백본의 채널 너비를 늘일수록 성능 향상이 지속적으로 관찰되어 GLR 프레임워크의 확장성과 효과성을 입증한다.