[논문 리뷰] Multi-Angle Point Cloud-VAE: Unsupervised Feature Learning for 3D Point Clouds from Multiple Angles by Joint Self-Reconstruction and Half-to-Half Prediction

Zhizhong Han, Xiyang Wang외 2명|arXiv (Cornell University)|2019. 07. 30.

3D Shape Modeling and Analysis참고 문헌 39인용 수 10

한 줄 요약

이 논문은 다중 시점에서의 반으로 나누기 예측과 자가재구성의 조합을 통해 전반적이고 국소적인 3D 포인트 클라우드 기하학을 동시에 학습하는 비지도 학습 딥러닝 모델인 Multi-Angle Point Cloud-VAE(MAP-VAE)를 제안한다. 다양한 시점에서 포인트 클라우드를 전면과 후면으로 분할하고, RNN 기반 예측기로 전면에서 후면을 재구성하도록 훈련시킴으로써 미세한 국소 구조를 포착하면서도, 변분 오토에인코더(Variational Autoencoder)를 통해 전반적 형태 재구성을 실현하여, 형태 분류, 복원, 생성 작업에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Unsupervised feature learning for point clouds has been vital for large-scale point cloud understanding. Recent deep learning based methods depend on learning global geometry from self-reconstruction. However, these methods are still suffering from ineffective learning of local geometry, which significantly limits the discriminability of learned features. To resolve this issue, we propose MAP-VAE to enable the learning of global and local geometry by jointly leveraging global and local self-supervision. To enable effective local self-supervision, we introduce multi-angle analysis for point clouds. In a multi-angle scenario, we first split a point cloud into a front half and a back half from each angle, and then, train MAP-VAE to learn to predict a back half sequence from the corresponding front half sequence. MAP-VAE performs this half-to-half prediction using RNN to simultaneously learn each local geometry and the spatial relationship among them. In addition, MAP-VAE also learns global geometry via self-reconstruction, where we employ a variational constraint to facilitate novel shape generation. The outperforming results in four shape analysis tasks show that MAP-VAE can learn more discriminative global or local features than the state-of-the-art methods.

연구 동기 및 목표

• 부족한 국소 자기지도 학습으로 인해 기존 비지도 3D 포인트 클라우드 방법이 효과적인 국소 기하학을 학습하는 데에 한계를 가짐을 해결하기 위해.
• 다중 시점 분석을 도입하여 의미 있는 시점 기반 국소 지도 학습을 생성함으로써 특징의 분류 능력을 향상시키기 위해.
• 자기재구성과 반으로 나누기 예측을 동시에 최적화하여 전반적이고 국소적인 기하학적 구조를 동시에 학습하기 위해.
• 학습된 분리된 특징 공간을 활용하여 고해상도의 새로운 형태 생성과 포인트 클라우드 복원을 가능하게 하기 위해.
• 포인트 클라우드에서 지역 특징을 추출하기 위해 일관된 시점 기반 분할 메커니즘을 제공하기 위해.

제안 방법

• 다중 시점에서 점군을 점진적으로 렌더링하여 국소 지도 학습을 위한 전면-후면 분할을 생성함으로써 다중 시점 분석을 도입한다.
• 각 포인트 클라우드를 각 시점에서 전면과 후면으로 분할하여 훈련을 위한 다수의 쌍체 시퀀스를 생성한다.
• RNN 기반 디코더를 훈련시켜 해당 전면 시퀀스에서 후면 시퀀스를 예측하도록 하여 국소 기하학과 공간적 관계 학습을 가능하게 한다.
• 잠재 코드에서 전체 포인트 클라우드를 재구성하기 위해 변분 오토에인코더(VAE) 손실과 함께 모델을 공동 최적화함으로써 전반적 구조를 포착하고 형태 생성을 가능하게 한다.
• 잠재 공간을 정규화하기 위해 VAE 목표 함수에 KL 발산 항을 적용하여 샘플링과 새로운 현실적인 형태의 생성을 가능하게 한다.
• 레이블에 대한 미세조정 없이도 분류, 복원, 생성 등의 최종 작업에 대해 엔드 투 엔드로 모델을 적용한다.

실험 결과

연구 질문

• RQ1 다중 시점 분석이 비지도 3D 포인트 클라우드 특징 학습을 위한 더 효과적이고 의미 있는 국소 자기지도 학습을 제공할 수 있는가?
• RQ2 반으로 나누기 예측과 자가재구성의 공동 최적화가 단지 전반적 재구성에 의존하는 방법에 비해 학습된 특징의 분류 능력을 향상시키는가?
• RQ3 제안된 방법이 잠재 공간에서 세부 국소 기하학을 갖춘 고해상도의 새로운 3D 형태를 생성할 수 있는가?
• RQ4 부분 입력 조건에서 최신 기술 대비 MAP-VAE는 포인트 클라우드 복원 작업에서 어떤 성능을 보이는가?
• RQ5 모델이 국소와 전반적 기하학적 구조를 모두 포착하는 분리된 표현을 얼마나 잘 학습하는가?

주요 결과

• MAP-VAE는 ModelNet10 벤치마크에서 86.25%의 정확도를 달성하여, 형태 분류에서 최신 기술인 LGAN1(77.33%)을 능가한다.
• 포인트 클라우드 복원 작업에서, MAP-VAE는 항공기 클래스에서 EMD 0.032328, 의자 클래스에서 EMD 0.055696을 기록하여 PCN-EMD 및 LGAN을 포함한 모든 경쟁자들을 능가한다.
• 시각적 비교 결과, MAP-VAE는 특히 모서리나 지류 부분에서 LGAN 및 LGAN1보다 더 선명한 윤곽과 더 세밀한 국소 기하학을 갖춘 포인트 클라우드를 생성한다.
• 잠재 코드 샘플링을 통해 고해상도의 새로운 형태를 생성할 수 있으며, 동일한 클래스 중심에서 유도된 100개의 항공기 모델은 일관되고 현실적인 변형을 보여준다.
• 다른 클래스 간의 형태 보간은 자연스럽고 부드러운 전이를 보이며, 학습된 잠재 공간의 분리 및 의미 있는 성격을 입증한다.
• 절단 실험을 통해 다중 시점 분석과 반으로 나누기 예측이 국소 특징 학습을 크게 향상시키며, 절단 변종은 모든 벤치마크에서 성능이 열등함을 확인한다.