[논문 리뷰] Learning Gradient Fields for Shape Generation

Ruojin Cai, Guandao Yang외 5명|arXiv (Cornell University)|2020. 08. 14.

3D Shape Modeling and Analysis참고 문헌 61인용 수 9

한 줄 요약

이 논문은 점군 분포의 로그 밀도의 기울기 장을 스코어 기반 생성 모델링을 통해 학습하여 3D 형상 생성을 위한 새로운 방법을 제안한다. 예측된 기울기 장을 바탕으로 확률적 경사상승법을 수행함으로써 모델은 고해상도의 점군을 생성하고 지표면을 암묵적으로 추출하며, 지도 없는 메쉬가 없는 상태에서도 최신 기술 수준의 성능을 달성한다. 이는 희소 입력 조건에서도 성능을 유지한다.

ABSTRACT

In this work, we propose a novel technique to generate shapes from point cloud data. A point cloud can be viewed as samples from a distribution of 3D points whose density is concentrated near the surface of the shape. Point cloud generation thus amounts to moving randomly sampled points to high-density areas. We generate point clouds by performing stochastic gradient ascent on an unnormalized probability density, thereby moving sampled points toward the high-likelihood regions. Our model directly predicts the gradient of the log density field and can be trained with a simple objective adapted from score-based generative models. We show that our method can reach state-of-the-art performance for point cloud auto-encoding and generation, while also allowing for extraction of a high-quality implicit surface. Code is available at https://github.com/RuojinCai/ShapeGF.

연구 동기 및 목표

• 고정된 크기의 생성, 순차적 생성, 또는 적대적 훈련의 한계를 피하는 유연하고 확장 가능한 3D 점군 생성 방법을 개발한다.
• 3D 점군의 기저 분포를 연속적인 밀도 장으로 모델링하여 임의의 샘플링과 위상적 유연성을 가능하게 한다.
• 훈련 시 지도 없는 메시가 필요 없이 학습된 기울기 장에서 직접 고품질의 암묵적 표면 재구성을 가능하게 한다.
• 간단한 L2 손실 목적함수를 사용하여 점군의 자동부호화 및 생성에서 최신 기술 수준의 성능을 달성한다.
• 희소 입력 점군에 대한 강건성과 샘플링 시 사전 분포 선택에 대한 민감도가 낮음을 입증한다.

제안 방법

• 모델은 깊은 신경망을 사용하여 로그 밀도 장의 기울기(스테인 스코어 함수)를 예측하여 기저 밀도에서 가장 급격히 증가하는 방향을 매개변수화한다.
• 훈련은 노이즈 제거 스코어 매칭 목적함수를 사용하며, 입력 점군에서 추정된 기울기 장과 예측된 기울기 장 간의 L2 손실을 적용한다.
• 샘플링은 랭글레인 역학을 통해 수행되며, 예측된 기울기 장을 따라 점들을 반복적으로 변형하고 이동시켜 고밀도 영역에 도달한다.
• 샘플링 품질과 수렴성을 향상시키기 위해 안내된 랭글레인 역학을 활용한다.
• 암묵적 표면은 학습된 밀도 장의 등치수를 풀어내어, 특히 로그 밀도 기울기 장의 영점 등치수를 구한다.
• 모델은 서피스의 거리 필드나 점유도 레이블이 필요 없이 오직 점군 데이터만을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 점군 데이터만으로 훈련된 스코어 기반 모델이 임의의 점 수를 가진 고품질이고 다양한 3D 형상을 생성할 수 있는가?
• RQ2 희소하고 불완전한 점군으로부터 로그 밀도의 기울기 장을 효과적으로 학습할 수 있는가?
• RQ3 지도 없는 메시가 없이도 고품질의 암묵적 표면 재구성을 가능하게 하는가?
• RQ4 기존 최신 기술 수준의 모델들과 비교해 자동부호화 및 생성 작업에서 성능이 어떻게 나타나는가?
• RQ5 점 초기화에 사용된 사전 분포의 종류에 관계없이 샘플링 과정이 강건한가?

주요 결과

• 모델은 모든 ShapeNet 카테고리에서 점군 자동부호화 및 생성 작업에서 최신 기술 수준의 성능을 달성하였으며, MMD, COV 및 1-NNA 지표에서 기존 방법들을 능가한다.
• 항공기 카테고리에서 모델은 MMD-CD 1.332 (×10⁻³) 및 MMD-EMD 7.768 (×10⁻²)을 기록하였으며, VAE 기준선의 1.909 및 9.004와 비교해 뚜렷이 뛰어난 성능을 보였다.
• 희소 점군(최소 600점)으로도 훈련된 모델은 스캔된 부분 형상의 고해상도 재구성에도 강력한 성능을 유지한다.
• 사전 분포 선택에 대해 강건함을 입증: 균일 분포, 정규 분포, 또는 단일 점 사전 분포로부터의 샘플링 모두가 고품질 결과를 산출하였으며, 정성적 비교에서 이를 확인하였다.
• 잠재 공간의 분리가 달성되었으며, T-SNE 시각화 결과 유사한 형상들이 학습된 128차원 잠재 코드 공간에서 서로 가까이 뭉쳐져 있음을 보였다.
• 암묵적 표면 추출은 학습된 기울기 장에서 직접 고품질 메시를 생성하였으며, 훈련 시 지도 없는 표면이 필요하지 않았다.