[논문 리뷰] Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks

Weiyue Wang, Qiangui Huang외 3명|arXiv (Cornell University)|2017. 11. 17.

3D Shape Modeling and Analysis참고 문헌 26인용 수 24

한 줄 요약

이 논문은 3D 인코더-디코더 생성적 적대적 네트워크(3D-ED-GAN)와 장기 순환 컨volution 네트워크(LRCN)를 조합한 하이브리드 딥러닝 프레임워크를 제안한다. 이는 완전하지 않은 저해상도 스캔에서 고해상도이고 의미적으로 타당한 3D 형태를 복원하기 위한 것이다. 3D-ED-GAN은 잠재 공간에서의 적대적 훈련을 통해 전반적인 구조를 포착하고, LRCN는 2D 슬라이스를 순차적으로 처리하여 세부 정보를 복구하고 GPU 메모리 제약을 초월한다. 이로써 최신 기술 수준의 완성 정확도를 달성하며 효과적인 3D 특징 학습을 가능하게 한다.

ABSTRACT

Recent advances in convolutional neural networks have shown promising results in 3D shape completion. But due to GPU memory limitations, these methods can only produce low-resolution outputs. To inpaint 3D models with semantic plausibility and contextual details, we introduce a hybrid framework that combines a 3D Encoder-Decoder Generative Adversarial Network (3D-ED-GAN) and a Long-term Recurrent Convolutional Network (LRCN). The 3D-ED-GAN is a 3D convolutional neural network trained with a generative adversarial paradigm to fill missing 3D data in low-resolution. LRCN adopts a recurrent neural network architecture to minimize GPU memory usage and incorporates an Encoder-Decoder pair into a Long Short-term Memory Network. By handling the 3D model as a sequence of 2D slices, LRCN transforms a coarse 3D shape into a more complete and higher resolution volume. While 3D-ED-GAN captures global contextual structure of the 3D shape, LRCN localizes the fine-grained details. Experimental results on both real-world and synthetic data show reconstructions from corrupted models result in complete and high-resolution 3D objects.

연구 동기 및 목표

• 실세계 3D 스캔에서 가림, 노이즈 또는 센서 한계로 인한 완전하지 않은 3D 스캔 문제를 해결하기 위해.
• 손상된 저해상도 입력에서 고해상도이고 의미적으로 타당한 3D 형태를 생성하여 전반적인 구조와 세밀한 디테일을 모두 유지하기 위해.
• 3D 컨volution 네트워크의 GPU 메모리 제약을 극복하기 위해 3D 볼륨을 순차적으로 처리하는 순환 네트워크로 2D 슬라이스로 모델링함으로써.
• 객체 분류와 같은 후속 작업을 위한 효과적인 3D 특징 표현 학습을 가능하게 하기 위해.
• 학습된 잠재 공간이 형태 산술과 의미적 보간에 유용함을 입증하기 위해.

제안 방법

• 3D-ED-GAN은 적대적 손실과 문맥 손실을 사용하여 저해상도 및 손상된 바이트 입력에서 완전한 3D 형태를 복원한다. 이는 입력을 확률적 잠재 공간으로 인코딩하고 GAN 프레임워크를 통해 디코딩함으로써 이루어진다.
• LRCN은 3D-ED-GAN의 출력을 2D 슬라이스의 시퀀스로 처리하며, CNN 인코더와 완전 컨volution 디코더를 갖춘 장기 기억 단기 기억(LSTM) 아키텍처를 사용하여 고해상도 3D 볼륨을 생성한다.
• 3D 볼륨을 2D 슬라이스의 시퀀스로 간주함으로써 GPU 메모리 사용량을 줄여, 기존 3D CNN의 한계를 초월한 고해상도 추론을 가능하게 한다.
• 하이브리드 네트워크는 엔드 투 엔드로 훈련 가능하며, 3D-ED-GAN은 전반적인 형태 복원을 담당하고 LRCN는 국소 기하학적 디테일을 정교화한다.
• 3D-ED-GAN 인코더에서 유도된 잠재 벡터는 3D 객체 분류 및 형태 보간과 같은 후속 작업에 사용된다.
• 프레임워크는 시뮬레이션된 스캐너 노이즈와 가림 조건 하에서 합성(SHAPE-Net) 및 실세계 3D 스캔 모두에서 평가되었다.

실험 결과

연구 질문

• RQ1 적대적 훈련과 잠재 공간 모델링을 통해 3D-ED-GAN이 완전하지 않은 3D 스캔에서 전반적인 형태 구조를 효과적으로 복원할 수 있는가?
• RQ2 3D 볼륨의 2D 슬라이스를 순차적으로 처리하는 순환 네트워크가 GPU 메모리 사용량을 줄이며 해상도 및 디테일 복원을 크게 향상시킬 수 있는가?
• RQ3 3D-ED-GAN에서 학습된 잠재 표현이 3D 객체 분류를 위한 효과적인 전이 학습을 지원하는가?
• RQ4 잠재 공간이 형태 산술, 예를 들어 서로 다른 3D 형태 사이의 부드러운 보간을 가능하게 하는가?
• RQ5 기존의 3D 복원 및 생성 방법과 비교할 때 하이브리드 3D-ED-GAN + LRCN 프레임워크는 재구성 정확도와 디테일 충실도 측면에서 어떻게 성능을 냈는가?

주요 결과

• 시뮬레이션된 스캐너 노이즈 조건에서 ShapeNet에서 하이브리드 모델은 재구성 오차 4.74%를 기록하여 기준 모델들인 VConv-DAE(7.48%), 3D-ED-GAN(6.55%), LRCN(7.08%)를 모두 능가했다.
• ModelNet40에서 미세조정된 3D-ED-GAN 사전 훈련 모델은 87.3%의 분류 정확도를 달성하여 무작위 초기화(86.1%)를 뛰어넘었으며, 효과적인 비지도 특징 학습을 보여주었다.
• 3D-ED-GAN의 잠재 벡터에 기반한 선형 SVM 분류기는 ModelNet40에서 84.3%의 정확도를 기록하여 VConv-DAE-US(75.5%) 및 3DGAN(83.3%)와 같은 다른 표현 학습 방법을 능가했다.
• 잠재 공간을 통한 형태 보간은 서로 다른 3D 형태 사이에 매끄럽고 연속적인 전환을 생성하여 학습된 표현의 분리 및 의미 있는 성격을 확인했다.
• 실세계 및 합성 스캔에 대한 정성적 결과는 프레임워크가 현실적인 기하학적 디테일과 맥락 일관성을 갖춘 완전한 고해상도 3D 객체를 생성함을 보여주었다.
• LRCN 구성 요소는 3D-ED-GAN만으로는 포착하지 못한 세밀한 디테일을 성공적으로 복원하여, 순차적 2D 처리가 해상도 향상에 효과적임을 입증했다.