[논문 리뷰] PT2PC: Learning to Generate 3D Point Cloud Shapes from Part Tree Conditions

Kaichun Mo, He Wang외 2명|arXiv (Cornell University)|2020. 03. 19.

3D Shape Modeling and Analysis참고 문헌 100인용 수 7

한 줄 요약

PT2PC는 부분 계층 구조를 따라 상향 및 하향 메시지 전파를 통해 구조적 요소와 기하적 요소를 분리함으로써 기호적 부분 트리 조건에서 다양한 실재감 있는 3D 포인트 클라우드 형상을 생성하는 조건부 GAN을 제안한다. 이 방법은 형상 품질, 부분 구조 충실도, 다양성 측면에서 뛰어난 성능을 달성하였으며, 정량적 지표와 인간 평가를 통해 검증되었다.

ABSTRACT

3D generative shape modeling is a fundamental research area in computer vision and interactive computer graphics, with many real-world applications. This paper investigates the novel problem of generating 3D shape point cloud geometry from a symbolic part tree representation. In order to learn such a conditional shape generation procedure in an end-to-end fashion, we propose a conditional GAN "part tree"-to-"point cloud" model (PT2PC) that disentangles the structural and geometric factors. The proposed model incorporates the part tree condition into the architecture design by passing messages top-down and bottom-up along the part tree hierarchy. Experimental results and user study demonstrate the strengths of our method in generating perceptually plausible and diverse 3D point clouds, given the part tree condition. We also propose a novel structural measure for evaluating if the generated shape point clouds satisfy the part tree conditions.

연구 동기 및 목표

• 기호적 부분 트리 기술을 사용하여 정밀한 구조적 및 기하적 제어를 갖춘 3D 포인트 클라우드 생성 문제를 해결하기 위해.
• 부분 트리가 구조적 레이아웃을 정의하는 조건부 형상 생성의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 더 나은 제어성과 다양성을 확보하기 위해 형상 구조와 기하적 요소를 분리하기 위해.
• 생성된 형상가 입력 부분 트리 조건을 충족하는지 확인하기 위한 새로운 구조 평가 지표를 개발하기 위해.

제안 방법

• 생성자는 부분 트리의 하향 인코딩을 통해 의미적 및 구조적 특징을 캡처한 후, 루트에서 각 부분 노드로 노이즈를 내장한 기하학적 정보를 상향으로 전파한다.
• 각 잎 노드에서 해당 부분의 고유한 특징과 기하학적 정보를 기반으로 포인트 클라우드를 디코딩하고, 이러한 국소적 포인트 클라우드를 집계하여 최종 출력을 형성한다.
• 판별자는 잎 수준에서 각 부분의 특징을 계산하고 트리 전체를 하향으로 전파하여 실재성과 구조적 준수성을 평가한다.
• 통합 판별자($D^{\texttt{whole}}$)와 부분 수준 판별자($D^{\texttt{part}}$)를 포함하는 이중 판별자 아키텍처를 사용하여 형상의 실재성과 구조 일관성을 동시에 강제한다.
• 같은 부분 트리 조건에서 구조를 유지하면서 기하학적 변형을 가능하게 하기 위해 잠재 공간에 무작위 노이즈 $\mathbf{z}$를 활용한다.
• 실제 레이블이 없는 상황에서 생성된 포인트 클라우드를 기호적 부분 트리로 분할함으로써 구조 충실도를 평가하기 위해 새로운 계층적 인스턴스 세그멘테이션 방법인 HierInsSeg를 제안한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 기호적 부분 트리 표현에 기반하여 다양한 실재감 있는 3D 포인트 클라우드를 생성할 수 있는가?
• RQ2 모델은 제어 가능한 생성을 위해 형상 구조와 기하학적 변형을 얼마나 효과적으로 분리할 수 있는가?
• RQ3 생성된 형상가 입력 부분 트리에 정의된 구조적 관계를 어느 정도 유지하는가?
• RQ4 형상 품질, 부분 구조 정확도, 다양성 측면에서 기준 GAN과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 모델은 미리보지 않은 부분 트리 템플릿에 일반화되어 구조 충실도를 유지할 수 있는가?

주요 결과

• 제안된 PT2PC 모델은 정량적 지표와 인간 평가 모두에서 두 기준 조건부 GAN보다 뚜렷이 뛰어난 성능을 보였으며, 모든 조건에서 사용자 연구에서 평균 순위 1.33으로 최고의 평가를 받았다.
• 의자 클래스에서 PT2PC는 테스트 템플릿을 사용하지 않은 경우 평균 사용자 순위가 1.24로 구조 유사도, 1.40으로 종합 품질에서 높은 일반화 능력과 지각적 품질을 입증했다.
• 모델은 명확한 분리 효과를 보였다: 단지 노이즈 $\mathbf{z}$만 변화시켰을 때는 동일한 부분 트리에서 기하학적 변형이 발생했고, $\mathbf{z}$를 고정하고 부분 트리를 변경했을 땐 일관된 기하학적 특성을 유지하면서 구조적 변화가 발생했다.
• 제안된 HierInsSeg 지표는 구조 준수성을 성공적으로 평가하였으며, PT2PC가 생성한 형상가 기준선과 달리 정확한 부분 계층과 세그멘테이션을 유지하고 있음을 보여주었다.
• 제거 실험 결과, 통합 판별자 $D^{\texttt{whole}}$를 제거할 경우 성능 저하가 발생하여, 이는 전반적인 형상 실재성 유지를 위한 중요성을 입증했다.
• 훈련 시 각 부분 트리당 한 개의 진짜 형상만 존재함에도 불구하고, 유사한 부분 트리 구조 간 지식 전이 덕분에 다양한 실현 가능한 변형을 생성할 수 있었다.