[논문 리뷰] Adversarial Generation of Continuous Implicit Shape Representations

Marian Kleineberg, Matthias Fey외 1명|arXiv (Cornell University)|2020. 02. 02.

3D Shape Modeling and Analysis참고 문헌 27인용 수 26

한 줄 요약

이 논문은 서피스의 거리 함수(SDF)를 사용하여 연속적인 3D 형상을 학습하는 생성적 적대적 네트워크(GAN)를 제안한다. 이는 미분 가능 렌더링을 통해 고해상도이고 완전한(watertight) 출력을 가능하게 한다. 또한 점 기반 판별자에 대한 새로운 정교화 전략을 도입하여 영역 표면에 더 집중할 수 있도록 하여 형상의 세부 사항과 일반화 능력을 향상시켰으며, ShapeNet에서 여러 지표에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

This work presents a generative adversarial architecture for generating three-dimensional shapes based on signed distance representations. While the deep generation of shapes has been mostly tackled by voxel and surface point cloud approaches, our generator learns to approximate the signed distance for any point in space given prior latent information. Although structurally similar to generative point cloud approaches, this formulation can be evaluated with arbitrary point density during inference, leading to fine-grained details in generated outputs. Furthermore, we study the effects of using either progressively growing voxel- or point-processing networks as discriminators, and propose a refinement scheme to strengthen the generator's capabilities in modeling the zero iso-surface decision boundary of shapes. We train our approach on the ShapeNet benchmark dataset and validate, both quantitatively and qualitatively, its performance in generating realistic 3D shapes.

연구 동기 및 목표

• 서피스의 거리 함수(SDF)를 사용하여 연속적인 3D 형상 표현을 생성하는 GAN 기반 프레임워크를 개발한다. 이는 이산적인 바이트 및 포인트 클라우드 방법의 한계를 극복한다.
• 암묵적 형상 생성을 위한 적대적 훈련에서 바이트 기반과 포인트 처리 기반 판별자 간의 성능를 비교한다.
• 기울기 정보를 기반으로 판별자 입력 점을 정교화하여 생성자(Generator)가 형상의 핵심인 0 등치선을 더 잘 모델링할 수 있도록 한다.
• 연속적인 SDF 예측을 통해 고해상도이고 일반화 가능한 3D 형상 생성을 실현하며, 세밀한 기하학적 세부 정보를 구현한다.
• ShapeNet에서 정량적 평가를 통해 접근법을 검증하고, 생성된 형상의 다양성과 현실성에 대한 정성적 평가를 수행한다.

제안 방법

• 생성자는 128차원 잠재 코드를 3D 공간 전역에 걸쳐 연속적인 SDF로 매핑하기 위해 스킵 연결을 갖춘 깊은 순환 신경망을 사용하며, DeepSDF 아키텍처를 따르고 있다.
• 판별자는 두 가지 변형으로 구현된다: 바이트 기반 입력을 위한 3D CNN과 점 클라우드 입력을 위한 PointNet 기반 아키텍처이며, 점진적 성장 훈련을 적용한다.
• 정교화 전략은 SDF 기울기를 기반으로 표면 근처에 추가 점을 샘플링하여, 판별자가 0 등치선에 더 집중하도록 한다.
• 두 판별자 유형 모두에 점진적 성장을 적용하여 8³에서 64³ 해상도로 점차 훈련을 진행함으로써 훈련 안정성을 높인다.
• WGAN-GP 손실 함수를 사용하며, RMSProp 최적화를 적용한다. 추론 과정에서는 임의의 점 밀도에서 SDF 값을 평가한다.
• 정성적 및 정량적 평가를 위해 예측된 SDF에서 Marching Cubes 알고리즘을 사용하여 메쉬를 재구성한다.

실험 결과

연구 질문

• RQ1 서피스의 거리 함수(SDF)를 암묵적 표현으로 사용하여 GAN이 연속적인 3D 형상을 효과적으로 생성할 수 있는가?
• RQ2 바이트 기반과 포인트 처리 기반 판별자가 암묵적 형상 생성을 위한 적대적 훈련에서 생성자에게 현실적인 SDF를 이끌어내는 데 있어 어떤 성능을 보이는가?
• RQ3 기울기 정보를 기반으로 판별자가 사용하는 점 세트를 정교화하면 0 등치선과 전체 형상 품질의 모델링이 향상되는가?
• RQ4 저해상도 SDF로 훈련된 생성자가 고해상도 출력으로 일반화할 수 있는가?
• RQ5 제안된 정교화 전략이 형상 경계 근처에서 분포의 차이를 탐지하는 데 판별자의 능력을 어느 정도 향상시키는가?

주요 결과

• 정교화된 점 기반 판별자는 항공기 카테고리에서 JSD(0.072)와 MMD-EMD(0.070)를 기록하여 기준점 기반 및 바이트 기반 판별자보다 뛰어난 성능을 보였다.
• 의자 카테고리에서는 정교화된 접근이 JSD 0.078과 MMD-EMD 0.086을 기록하여 비정교화 기준점 기반 기준보다 일관된 향상을 보였다.
• 바이트 기반 판별자는 의자에서 JSD 0.076, 항공기에서 JSD 0.093을 기록하여 저해상도에서 고해상도로의 일반화 능력이 뛰어나다는 것을 입증하였다.
• 잠재 공간 내 선형 보간은 매끄럽고 타당한 형상 전이를 생성하여 학습된 코드 공간의 연속성과 분리성(Disentanglement)을 확인하였다.
• 8³ 바이트에서 훈련된 모델이 128³ 고해상도 출력을 생성할 때도 성능 저하 없이 결과를 도출하여, 이 방법이 임의의 점 밀도에 일반화 가능함을 증명하였다.
• 기존의 GAN 기반 및 오토인코더 기반 방법들과 비교하여, ShapeNet의 두 카테고리에서 모든 지표(JSD, MMD, COV)에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하였다.