[논문 리뷰] Hierarchical Detail Enhancing Mesh-Based Shape Generation with 3D Generative Adversarial Network

Chiyu Max Jiang, Philip Marcus|arXiv (Cornell University)|2017. 09. 22.

3D Shape Modeling and Analysis참고 문헌 11인용 수 9

한 줄 요약

이 논문은 서피스 거리 함수(SDF) 표현을 사용하여 고해상도이고 세밀한 메시 기반 형상을 생성하는 계층적 3D 생성 적대 신경망(3D-GAN)을 제안한다. 두 개의 전용 생성기로 저주파수 및 고주파수 성분을 분리함으로써, 시각적으로 매력적인 매끄러운 메시를 생성하며, 볼륨 기반 및 포인트 클라우드 방법에 비해 기하학적 품질과 의미적 제어 능력에서 뛰어난 성능을 발휘한다.

ABSTRACT

Automatic mesh-based shape generation is of great interest across a wide range of disciplines, from industrial design to gaming, computer graphics and various other forms of digital art. While most traditional methods focus on primitive based model generation, advances in deep learning made it possible to learn 3-dimensional geometric shape representations in an end-to-end manner. However, most current deep learning based frameworks focus on the representation and generation of voxel and point-cloud based shapes, making it not directly applicable to design and graphics communities. This study addresses the needs for automatic generation of mesh-based geometries, and propose a novel framework that utilizes signed distance function representation that generates detail preserving three-dimensional surface mesh by a deep learning based approach.

연구 동기 및 목표

• 딥 러닝 분야에서 컴퓨터 그래픽스 및 디자인 응용 분야에 적합한 고품질 메시 기반 3D 형상 생성 방법의 부족을 해결한다.
• 기존 볼륨 및 포인트 클라우드 표현 방식이 낮은 해상도, 노이즈, 비다각형 출력을 유발하여 CG 파이프라인에 적합하지 않은 한계를 극복한다.
• 잠재 공간 연산을 통한 의미적 제어를 가능하게 하여 개념적으로 새로운 형태이면서도 매끄럽고 세밀한 메시 기반 3D 형상을 생성한다.
• 주어진 주파수 성분을 분리하여 세부 묘사의 정밀도와 표면 품질을 향상시킬 수 있는 계층적 프레임워크를 개발한다.

제안 방법

• 3D 격자 위에서 서피스 거리 함수(SDF)를 사용하여 3D 형상을 표현함으로써, 마치징 컷스 알고리즘을 통해 매끄러운 표면 추출이 가능하다.
• 두 개의 스트림을 가진 GAN 아키텍처를 활용: 저주파수 생성기(LFG)와 고주파수 생성기(HFG)로, 각각 SDF 필드의 서로 다른 주파수 대역을 생성하도록 훈련한다.
• U-Net 유사한 인코더-디코더 아키텍처에서 3D 역전치 컨볼루션(업컨볼루션)을 사용하여 64³ 해상도의 SDF 필드를 생성한다.
• 주파수 도메인 필터링을 적용하여 저주파수 및 고주파수 성분을 분리: LFG는 모드 [-8,8]을 출력하고, HFG는 모드 [-32,-9] ∪ [9,31]을 강화한다.
• LFG의 저주파수 출력과 HFG의 고주파수 보정을 조합하여 최종 SDF를 재구성함으로써 주파수 도메인에서 초해상도 성능을 달성한다.
• 최종 메시의 품질을 향상시키기 위해 마치징 컷스, 라플라스 스무딩, UV 펼침, 텍스처 매핑 등의 후처리를 수행한다.

실험 결과

연구 질문

• RQ1 기존 볼륨 기반 GAN에 비해 계층적 GAN 아키텍처가 메시 기반 3D 형상 생성의 시각적 품질과 기하학적 정밀도를 향상시키는가?
• RQ2 SDF 표현에서 저주파수 및 고주파수 성분을 분리함으로써 생성된 3D 형상의 세부 묘사 유지 및 날카운 특징 강화가 가능한가?
• RQ3 제안된 방법은 훈련 데이터에 존재하지 않는 개념적으로 새로운 형상을 생성할 수 있으며, 매끄럽고 다각형 표면을 유지하는가?
• RQ4 잠재 공간에서 의미 있는 의미론적 연산(예: 형상 보간, 산술 연산)을 수행할 수 있는 정도는 어느 정도인가?
• RQ5 볼륨 점유율 격자 대신 SDF를 사용함으로써 컴퓨터 그래픽스 파이프라인에 적합한 더 현실적이고 렌더링 가능한 3D 메시를 생성할 수 있는가?

주요 결과

• 제안된 계층적 GAN 프레임워크는 기준 볼륨 기반 GAN에 비해 시각적 품질과 표면 매끄러움이 크게 향상된 3D 메시 형상을 생성한다.
• 고주파수 생성기(HFG)는 세밀한 묘사를 성공적으로 향상시켜, 저주파수만으로는 존재하지 않는 날카운 국소적 특징을 생성한다.
• LFG와 HFG의 조합은 물리적 격자 해상도를 초월하여 의미 있는 주파수 대역에서 높은 효과적 해상도를 달성한 최종 SDF 필드를 생성한다.
• 잠재 공간 내 선형 보간을 통한 연속적인 형상 모폴로지가 가능하여 의미론적 일관성과 의미 있는 형상 전이를 입증한다.
• 후처리된 메시는 SDF에서 생성된 후, 블렌더를 사용한 UV 매핑 및 텍스처 적용을 통해 고품질의 렌더링 결과를 보여주며, 후속 CG 워크플로우에 적합하다.
• 기존 연구에 비해 개념적으로 새로운 형태를 생성할 수 있으며, 높은 해상도와 높은 시각적 매력도를 갖춘 3D 형상을 생성함으로써, 훈련 예제의 단순 재조합을 넘어서는 성능을 발휘한다.