[논문 리뷰] 3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks

Chuhang Zou, Ersin Yumer외 3명|arXiv (Cornell University)|2017. 08. 04.

Image Processing and 3D Reconstruction참고 문헌 5인용 수 22

한 줄 요약

3D-PRNN는 LSTM와 혼합 밀도 네트워크를 활용하여 문맥 인식 생성을 가능하게 하는 순환 신경망으로, 단일 깊이 이미지에서 매개변수화된 상자 기반 원소의 시퀀스를 예측함으로써 3D 형상을 생성한다. 이는 뚜렷한 파rameter 공간을 사용함에도 불구하고 볼륨 기반 생성 모델과 비슷한 성능을 달성하며, 합성 및 실제 깊이 데이터에서 뛰어난 재구성 정확도와 구조적 일관성을 보여준다.

ABSTRACT

The success of various applications including robotics, digital content creation, and visualization demand a structured and abstract representation of the 3D world from limited sensor data. Inspired by the nature of human perception of 3D shapes as a collection of simple parts, we explore such an abstract shape representation based on primitives. Given a single depth image of an object, we present 3D-PRNN, a generative recurrent neural network that synthesizes multiple plausible shapes composed of a set of primitives. Our generative model encodes symmetry characteristics of common man-made objects, preserves long-range structural coherence, and describes objects of varying complexity with a compact representation. We also propose a method based on Gaussian Fields to generate a large scale dataset of primitive-based shape representations to train our network. We evaluate our approach on a wide range of examples and show that it outperforms nearest-neighbor based shape retrieval methods and is on-par with voxel-based generative models while using a significantly reduced parameter space.

연구 동기 및 목표

• 로봇 공학 및 그래픽스 분야에서의 추론 향상을 위해 매개변수화된 원소(상자)를 사용한 컴act하고 해석 가능한 3D 형상 표현을 개발하기 위해.
• 제한된 참조 데이터를 가진 경우 원소 기반 형상 합성에 대한 깊은 생성 모델을 훈련하는 데 도전하기 위해.
• 일련의 생성 접근 방식을 통해 단일 깊이 이미지와 같은 부분 관측에서 형상 재구성 및 보완을 가능하게 하기 위해.
• 훈련을 위한 대규모 약한 감독 데이터셋을 생성하기 위해 원소 기반 형상 표현을 위한 대규모 약한 감독 데이터셋을 구축하기 위해.
• 원소 기반 표현이 훨씬 적은 파라미터로도 고자유도 볼륨 기반 모델과 비슷한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 장기 단기 기억(LSTM) 네트워크 기반의 순환 생성기로, 이전 예측에 조건화된 깊이 특징과 함께 3D 원소(상자)의 집합을 순차적으로 예측한다.
• 각 시간 단계에서 가능한 원소 구성의 분포를 모델링하기 위해 혼합 밀도 네트워크(MDN)를 사용하여 다양한 문맥 민감한 생성을 가능하게 한다.
• 에너지 최소화와 가우시안 필드 기반의 비지도 최적화 파이프라인을 통해 원소 구성 요소를 3D 메쉬에 맞추어 수동 주석 없이 약한 감독 훈련 데이터를 생성한다.
• 형상 IoU와 표면 간 거리의 최소화를 통해 부분 관측 입력에서 완전한 형상을 재구성하도록 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 구조적 사전 지식인 대칭성과 회전 축 제약 조건을 네트워크에 통합하여 구조적 일관성과 일반화 능력을 향상시킨다.
• 실제 뉴욕 대학(NYU) 깊이 V2 데이터에 대한 미세조정을 통해 노이즈, 가림, 저해상도 관측에 대한 적응 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 깊이 이미지에서 순환 신경망이 매개변수화된 원소의 시퀀스로 효과적으로 3D 형상을 생성할 수 있는가?
• RQ2 원소 기반 표현 방식이 볼륨 기반 생성 모델에 비해 재구성 정확도와 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ3 에너지 최소화와 가우시안 필드 기반의 비지도 방법이 원소 기반 형상 표현을 위한 고품질의 확장 가능한 훈련 데이터를 생성할 수 있는가?
• RQ4 대칭성과 회전 축과 같은 구조적 사전 지식을 통합하면 생성된 형상의 품질과 일관성이 향상되는가?
• RQ5 합성 데이터로 사전 훈련된 모델이 제한된 주석을 가진 실제 깊이 데이터에 일반화될 수 있는가?

주요 결과

• 3D-PRNN는 합성 데이터 기반의 ModelNet 벤치마크에서 평균 형상 IoU 0.245를 달성하여, 가장 가까운 이웃 기반 베이스라인(0.269)을 뛰어넘고, 파라미터 수가 훨씬 적음에도 불구하고 최신 볼륨 기반 방법(Wu 등, 0.253)과 유사한 성능을 보였다.
• 실제 세계의 NYU Depth V2 데이터셋에서 미세조정 후 3D-PRNN는 평균 형상 IoU 0.138을 기록하여 가장 가까운 이웃 기반 베이스라인(0.145)을 뛰어넘었으며, 노이즈와 가림에 대한 강건성도 입증되었다.
• 회전 축 제약 조건을 추가함으로써 성능이 향상되었으며, 합성 데이터에서 평균 IoU는 0.245에서 0.238로 상승했고, 표면 간 거리는 0.074에서 0.074로 약간 향상된 일부 클래스에서 개선되었다.
• 가우시안 필드와 L-BFGS 최적화 기반의 비지도 원소 피팅 방법은 3D 메쉬에 대해 고품질의 원소 기반 참조 데이터를 성공적으로 생성하여 대규모 약한 감독 훈련을 가능하게 하였다.
• 3D-PRNN는 야간 탁자와 같이 드문 또는 가려진 카테고리에 대해서도 강력한 일반화 능력을 보였으며, 일부 성능 저하가 있었지만 이는 훈련 데이터 부족과 시각적 모호성 때문이었다.
• 모델은 부분 기반, 물체 중심의 원소 구조를 활용하여 의미 있는 형상 분할을 가능하게 하였으며, 부분 수준 재구성에서 베이스라인 방법을 능가하는 성능을 보였다.