[논문 리뷰] Generative PointNet: Energy-Based Learning on Unordered Point Sets for 3D Generation, Reconstruction and Classification

Jianwen Xie, Yifei Xu외 3명|arXiv (Cornell University)|2020. 04. 02.

3D Shape Modeling and Analysis참고 문헌 53인용 수 7

한 줄 요약

이 논문은 순서 없는 포인트 클라우드를 위한 에너지 기반 생성 모델인 Generative PointNet을 제안한다. 이 모델은 포인트 좌표에서 에너지 함수를 학습하기 위해 순열에 불변인 신경망을 사용한다. GAN이나 VAE를 사용하지 않고 MCMC 기반 최대우도 추정을 통해 훈련이 가능하며, 수동으로 설계된 지표에 의존하지 않고 통계적 성질을 일치시킴으로써 3D 생성, 복원, 분류 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a generative model of unordered point sets, such as point clouds, in the form of an energy-based model, where the energy function is parameterized by an input-permutation-invariant bottom-up neural network. The energy function learns a coordinate encoding of each point and then aggregates all individual point features into an energy for the whole point cloud. We call our model the Generative PointNet because it can be derived from the discriminative PointNet. Our model can be trained by MCMC-based maximum likelihood learning (as well as its variants), without the help of any assisting networks like those in GANs and VAEs. Unlike most point cloud generators that rely on hand-crafted distance metrics, our model does not require any hand-crafted distance metric for the point cloud generation, because it synthesizes point clouds by matching observed examples in terms of statistical properties defined by the energy function. Furthermore, we can learn a short-run MCMC toward the energy-based model as a flow-like generator for point cloud reconstruction and interpolation. The learned point cloud representation can be useful for point cloud classification. Experiments demonstrate the advantages of the proposed generative model of point clouds.

연구 동기 및 목표

• 입력 순서에 관계없이 동일한 결과를 내는 순서 없는 포인트 세트를 위한 생성 모델을 개발하는 것.
• 수동으로 설계된 거리 지표에 의존하지 않고 에너지 함수를 통해 통계적 성질을 학습함으로써 포인트 클라우드 생성에서의 의존도를 제거하는 것.
• 적대적 또는 변분 프레임워크를 피하고 MCMC 기반 최대우도를 사용해 생성 모델을 엔드 투 엔드로 훈련하는 것.
• 복원 및 보간 작업을 위한 플로우 유사 생성기로 작동하는 단기 MCMC 과정을 학습하는 것.
• 하류 분류 작업에 유용한 강력한 포인트 클라우드 표현을 생성하는 것.

제안 방법

• 각 포인트의 좌표를 개별적으로 인코딩하는 하향식, 순열에 불변인 신경망을 사용해 에너지 함수를 매개변수화하는 것.
• 다양분 가능한 집계 메커니즘을 사용해 개별 포인트 특징을 통합하여 전체 포인트 클라우드의 전역 에너지 점수를 도출하는 것.
• 보조 네트워크 없이 샘플링과 최적화가 가능한 MCMC 기반 최대우도 학습을 통해 모델을 훈련하는 것.
• 복원 및 포인트 클라우드 보간을 위한 플로우 유사 생성기로 작동하는 단기 MCMC 과정을 학습하는 것.
• 에너지 함수를 사용해 관측된 데이터 분포를 일치시키는 통계적 성질을 정의하여 포인트 클라우드 합성을 이끄는 것.
• 판별적 PointNet 아키텍처에서 유도하여 순열 불변성과 국소적 특징 학습을 유지하는 것.

실험 결과

연구 질문

• RQ1 순열에 불변인 백본을 갖는 에너지 기반 모델은 GAN이나 VAE에 의존하지 않고 고품질의 3D 포인트 클라우드를 생성할 수 있는가?
• RQ2 학습된 에너지 함수가 포인트 클라우드의 통계적 성질을 얼마나 잘 포착하여 현실적인 생성을 가능하게 하는가?
• RQ3 에너지 모델에서 학습된 단기 MCMC 추론이 복원 및 보간 작업에서 효과적인 생성기로 기능할 수 있는가?
• RQ4 에너지 함수가 학습한 표현이 하류 포인트 클라우드 분류 작업에서 성능 향상에 기여하는가?
• RQ5 수동으로 설계된 거리 지표를 사용하지 않고도 기존 방법보다 3D 생성 및 복원에서 뛰어난 성능을 내는가?

주요 결과

• 제안된 Generative PointNet은 수동으로 설계된 지표가 아닌 통계적 성질을 학습함으로써 3D 포인트 클라우드 생성에서 최신 기술 수준의 성능을 달성한다.
• 학습된 단기 MCMC 과정을 통해 플로우 유사 생성기로 작동하는 모델이 효과적인 포인트 클라우드 복원 및 보간을 가능하게 한다.
• 에너지 기반 표현이 학습됨에 따라 벤치마크 포인트 클라우드 데이터셋에서 분류 정확도가 향상된다.
• MCMC 기반 최대우도 학습을 통해 적대적 훈련이나 변분 근사 없이 다양하고 현실적인 포인트 클라우드를 생성할 수 있다.
• 순열에 불변인 아키텍처는 입력 포인트 순서에 관계없이 일관된 성능을 보이며, 이는 강건성과 일반화 능력을 향상시킨다.