[논문 리뷰] PQ-NET: A Generative Part Seq2Seq Network for 3D Shapes

Rundi Wu, Yixin Zhuang외 3명|arXiv (Cornell University)|2019. 11. 25.

3D Shape Modeling and Analysis참고 문헌 56인용 수 6

한 줄 요약

PQ-NET는 부분 인식 Seq2Seq 오토인코더를 사용하여 순차적인 부분 조립을 통해 3D 형상을 표현하고 합성하는 딥 생성 모델이다. 이 모델은 부분 특징을 고정 크기의 잠재 벡터로 인코딩하고, 부분 단위로 형상을 재구성함으로써 새로운 형상 생성, 단일 뷰 3D 복원, 구조적이고 의미 있는 부분을 가진 형상 보완과 같은 작업을 가능하게 하며, 이전 방법들에 비해 부분 기반 생성에서 뛰어난 성능을 보이며 동시에 경쟁적인 복원 품질을 유지한다.

ABSTRACT

We introduce PQ-NET, a deep neural network which represents and generates 3D shapes via sequential part assembly. The input to our network is a 3D shape segmented into parts, where each part is first encoded into a feature representation using a part autoencoder. The core component of PQ-NET is a sequence-to-sequence or Seq2Seq autoencoder which encodes a sequence of part features into a latent vector of fixed size, and the decoder reconstructs the 3D shape, one part at a time, resulting in a sequential assembly. The latent space formed by the Seq2Seq encoder encodes both part structure and fine part geometry. The decoder can be adapted to perform several generative tasks including shape autoencoding, interpolation, novel shape generation, and single-view 3D reconstruction, where the generated shapes are all composed of meaningful parts.

연구 동기 및 목표

• 3D 형상을 부분 기하학적 구조와 구성 구조를 동시에 포착하는 순차적 조립 방식을 통해 학습하는 딥 생성 모델을 개발한다.
• 통합 아키텍처를 통해 형상 오토인코딩, 보간, 새로운 형상 생성, 단일 뷰 3D 복원과 같은 다양한 생성 작업을 가능하게 한다.
• 부분 정체성과 공간 배치를 모두 인코딩하는 분리된 그러나 구조적인 잠재 공간을 학습한다.
• 표현의 순차성에 기반하여 형상 보완 및 부분 순서 노이즈 제거를 지원함으로써 응용을 가능하게 한다.
• 순차적 부분 모델링이 통합적 또는 계층적 대안에 비해 생성 모델링에서 더 뛰어난 구조적 일관성을 제공하는지 입증한다.

제안 방법

• 네트워크는 개별 형상 부분을 특징 표현으로 인코딩하기 위해 부분 오토인코더를 사용하며, 부분 수준의 암묵적 필드를 모델링하기 위해 IM-NET를 변형 적용한다.
• 양방향 스택형 RNN 인코더가 부분 특징의 순서를 정방향과 역방향 모두에서 처리하여 고정 크기의 잠재 벡터를 생성한다.
• 스택형 RNN 디코더가 잠재 코드에 기반하여 한 번에 하나의 부분씩 순차적으로 3D 형상을 재구성한다.
• 전체 아키텍처인 PQ-NET는 PartNet 데이터에서 유래한 사전 정의된 선형 순서에 따라 부분 순서를 기반으로 엔드 투 엔드로 훈련된다.
• 입력 뷰 또는 부분 순서의 일부를 조건으로 하여 디코더를 조정함으로써 단일 뷰 복원 및 형상 보완과 같은 후속 작업을 위한 미세조정이 수행된다.
• 입력 순서를 손상시킨 후 원래의 일관된 순서를 복구하도록 네트워크를 훈련시켜 부분 대응 학습을 가능하게 함으로써 부분 순서 노이즈 제거를 달성한다.

실험 결과

연구 질문

• RQ1 부분 조립을 자연어 유사한 순서로 간주할 때, 순서-순서 네트워크가 3D 형상 생성을 효과적으로 모델링할 수 있는가?
• RQ2 부분의 순차적 표현을 학습함으로써 통합 생성 모델에 비해 형상의 구조와 기하학적 특성을 더 잘 분리할 수 있는가?
• RQ3 학습된 잠재 공간이 새로운 형상 생성, 보간, 단일 뷰 복원과 같은 다양한 생성 작업을 지원할 수 있는가?
• RQ4 모델이 순서 노이즈 제거를 통해 얼마나 잘 구조적 일관성을 유지하고 부분 대응을 가능하게 하는가?
• RQ5 부분 순서의 선택이 학습된 생성 모델의 품질과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• PQ-NET는 더 엉키기 쉬운 잠재 공간에도 불구하고, IM-NET와 같은 최신 암묵적 모델과 비교해도 경쟁적인 3D 복원 품질을 달성한다.
• 모델은 RGB 및 깊이 이미지에서 단일 뷰 3D 복원을 성공적으로 수행하여 일관되고 부분 기반의 형상을 생성한다.
• 부분 순서의 일부가 손실된 데이터로 훈련함으로써 형상 보완이 효과적으로 수행되며, 네트워크는 일관된 순서로 누락된 부분을 재구성한다.
• 부분 순서 노이즈 제거를 통해 네트워크는 일관된 카테고리 수준의 부분 순서를 학습할 수 있으며, 이는 후속 작업에서 부분 대응 추론을 가능하게 한다.
• 모델은 의미 있는 부분 조합을 가진 구조적으로 일관된 형상을 생성하며, 3D-PRNN에 비해 기하학적 구조 모델링에서 뛰어난 성능을 보인다.
• 정량적 평가 결과, PQ-NET는 부분 기반 생성에서 StructureNet과 3D-PRNN와 유사한 성능을 보이며, 잠재 공간의 엉킴으로 인해 순수 복원 지표에서는 IM-NET를 능가하지 못한다.