[논문 리뷰] PointGrow: Autoregressively Learned Point Cloud Generation with Self-Attention

Yongbin Sun, Yue Wang외 3명|arXiv (Cornell University)|2018. 10. 12.

3D Shape Modeling and Analysis참고 문헌 67인용 수 21

한 줄 요약

PointGrow는 3D 포인트 클라우드에 대해 순차적으로 점을 샘플링하는 조건부 확률 분포를 사용하는 자동회귀 생성 모델을 제안한다. 이는 장거리 의존성과 점 간 상관관계를 포착하기 위해 자기주의(mself-attention) 기반 기법을 활용한다. 이 모델은 무조건적 및 조건부 생성 모두에서 최신 기준 성능을 달성하며, 해석 가능하고 다양한 3D 형상 생성이 가능하다. 이는 형상 복구 및 산술 연산 등 다양한 응용 분야에 기여한다.

ABSTRACT

Generating 3D point clouds is challenging yet highly desired. This work presents a novel autoregressive model, PointGrow, which can generate diverse and realistic point cloud samples from scratch or conditioned on semantic contexts. This model operates recurrently, with each point sampled according to a conditional distribution given its previously-generated points, allowing inter-point correlations to be well-exploited and 3D shape generative processes to be better interpreted. Since point cloud object shapes are typically encoded by long-range dependencies, we augment our model with dedicated self-attention modules to capture such relations. Extensive evaluations show that PointGrow achieves satisfying performance on both unconditional and conditional point cloud generation tasks, with respect to realism and diversity. Several important applications, such as unsupervised feature learning and shape arithmetic operations, are also demonstrated.

연구 동기 및 목표

• 형상 생성 과정의 해석 가능성을 높이기 위해 생성 과정에서 점 간 상관관계를 명시적으로 모델링하는 3D 포인트 클라우드 생성 모델을 개발하는 것.
• 포인트 클라우드 데이터의 비정규성 및 장거리 의존성 문제를 해결하기 위해 자기주의 기반 기법을 자동회귀 프레임워크에 통합하는 것.
• 2D 이미지와 같은 의미적 입력 조건 하에서 또는 처음부터 다양한 실재감 있는 3D 형상을 생성할 수 있도록 하는 것.
• 비지도 특징 학습, 형상 복구, 형상 산술 연산과 같은 후행 응용 분야를 지원하는 것.
• 기존의 집합 기반 손실 함수(예: Chamfer 거리)가 생성 과정을 은폐하는 데 비해, 더 해석 가능한 대안을 제공하는 것.

제안 방법

• PointGrow는 각 점이 이전에 샘플된 점들에 기반하여 순차적으로 생성되는 자동회귀 방식을 사용하며, 조건부 확률의 연쇄 법칙을 통해 전체 점 분포를 모델링한다.
• 모델은 이전에 생성된 점 집합 s_{≤i−1}을 조건으로 하여 각 점 z_i를 샘플링하기 위해 조건부 확률 분포 p(z_i | s_{≤i−1})를 활용한다.
• 장거리 의존성과 포인트 클라우드 내 먼 거리의 점들 간의 의미적 상관관계를 포착하기 위해 두 가지 새로운 포인트 클라우드 기반 자기주의 모듈을 도입한다.
• 자기주의 모듈은 공간적 유사성과 특징 기반 유사성에 기반한 어텐션 점수를 계산함으로써, 비정규적인 점 집합에서 직접 동작하여 비국소적 점들 간의 효과적인 정보 흐름을 가능하게 한다.
• 모델는 전체 포인트 클라우드 시퀀스의 로그 우도를 최적화하는 가능도 기반 목적 함수를 사용해 엔드 투 엔드로 훈련된다.
• 조건부 생성의 경우, 이미지 조건부 임베딩은 학습된 이미지 인코더를 통해 확보되고 자동회귀 디코더와 융합되어 3D 형상 생성을 이끌어낸다.

실험 결과

연구 질문

• RQ1 점 간 상관관계를 명시적으로 모델링하는 자동회귀 프레임워크는 집합 기반 손실 함수보다 더 해석 가능하고 현실적인 3D 포인트 클라우드 생성이 가능한가?
• RQ2 자기주의 기반 기법은 비정규적인 포인트 클라우드 데이터에서 장거리 의존성을 얼마나 효과적으로 포착하여 생성 품질을 향상시킬 수 있는가?
• RQ3 실제 환경에서도 2D 이미지 입력 조건 하에 다양한 실현 가능한 3D 형상을 생성할 수 있는가?
• RQ4 학습된 잠재 공간이 형상 산술 및 비지도 특징 학습과 같은 후행 작업을 얼마나 잘 지원하는가?
• RQ5 자동회귀 생성 과정이 의미 있는 중간 형상 보간 및 조합형상 생성을 가능하게 하는가?

주요 결과

• PointGrow는 무조건적 및 조건부 3D 포인트 클라우드 생성 작업에서 최신 기준 성능을 달성하며, ShapeNet 벤치마크에서 이전 방법보다 낮은 Chamfer 거리(CD) 및 지구 이동 거리(EMD) 점수를 기록한다.
• ShapeNet-1000 데이터셋에서 1개 시각 설정에서는 CD 0.615, EMD 1.401을 달성하여 3D-R2N2 및 MRTNet와 같은 모델들을 능가한다.
• 5개 시각 설정에서는 CD 0.914, EMD 1.413를 기록하여 다수의 이미지 시각에서의 일반화 능력이 뛰어나다는 것을 입증한다.
• 이미지 조건부 잠재 벡터를 선형 보간함으로써 의미 있는 형상 산술 연산을 수행할 수 있으며, 타당한 중간 형상을 생성한다.
• 이미지 임베딩의 보간을 통해 중간 3D 형상이 성공적으로 생성되었으며, 이는 모델이 분리 가능하고 연속적인 형상 표현을 학습할 수 있음을 보여준다.
• 비지도 특징 학습 분야에서도 뛰어난 성능을 보이며, 후행 분류 및 검색 작업으로의 일반화 능력이 뛰어나다.