[논문 리뷰] Learning Shape Abstractions by Assembling Volumetric Primitives

Shubham Tulsiani, Hao Su외 3명|arXiv (Cornell University)|2016. 12. 01.

3D Shape Modeling and Analysis인용 수 10

한 줄 요약

이 논문은 3차원 형상을 견고하게 변형된 상자형 원소들을 볼륨 기반 원소로 조합하여 재구성하는 비지도 딥러닝 프레임워크를 제안한다. 3차원 형상 데이터셋에서 학습함으로써 모델은 일관되고 해석 가능한 부분 기반 추상화를 발견하여 일관된 파싱, 형상 유사도 측정, 이미지 기반 추상화, 형상 조작을 가능하게 한다—3차원 형상 집합에서 데이터 기반으로 구조적 사전 지식을 발견함을 보여준다.

ABSTRACT

We present a learning framework for abstracting complex shapes by learning to assemble objects using 3D volumetric primitives. In addition to generating simple and geometrically interpretable explanations of 3D objects, our framework also allows us to automatically discover and exploit consistent structure in the data. We demonstrate that using our method allows predicting shape representations which can be leveraged for obtaining a consistent parsing across the instances of a shape collection and constructing an interpretable shape similarity measure. We also examine applications for image-based prediction as well as shape manipulation.

연구 동기 및 목표

• 수동으로 설계된 사전 지식 대신 데이터 기반 접근법을 사용하여 일관되고 해석 가능한 3차원 형상 추상화를 발견하기 위해.
• 공통된 원소 조합을 학습하여 형상 카테고리 전반에 걸쳐 형상 부분의 일관된 파싱을 가능하게 하기 위해.
• 원시 기하학적 형태가 아닌 원소 매개변수를 기반으로 해석 가능한 형상 유사도 측정법을 구축하기 위해.
• 2차원 이미지에서 원소 레이아웃을 예측하는 컨volution 네트워크(CNN)에 볼륨 기반 예측을 흡수함으로써 이미지 기반 형상 추상화를 지원하기 위해.
• 각 원소의 국소 좌표 프레임을 사용하여 원소 매개변수를 변형하고 메쉬 정점에 이를 전파함으로써 형상 조작을 가능하게 하기 위해.

제안 방법

• 볼륨 점유 격자에서 3차원 형상을 재구성할 수 있는 견고하게 변형된 상자형 원소(원소)의 집합을 예측하도록 딥 컨volution 네트워크(CNN)를 훈련한다.
• 전체 형상 데이터셋에 걸쳐 원소 매개변수(위치, 방향, 스케일)를 동시에 추론하기 위해 미분 가능한 渲染 및 최적화 과정을 사용한다.
• 메쉬 정점들을 3차원 공간에서 가장 가까운 원소에 매핑하는 미분 가능한 할당 모듈을 통해 원소 할당을 학습한다.
• 유사한 형상 간에 일관된 원소 사용을 장려하고 구조적 정렬을 촉진하기 위해 대조 손실을 사용한다.
• 볼륨 기반 모델을 모방하도록 지식 정복을 통해 훈련된 이미지 기반 예측 헤드를 사용하여 2차원 이미지 입력 추론을 가능하게 한다.
• 각 원소의 프레임 내 국소 좌표를 사용하여 원소 매개변수를 변형하고 메쉬 정점들을 재투영함으로써 형상 조작을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 인간의 레이블이 없는 부분 정보 없이 볼륨 기반 원소만을 사용하여 일관되고 해석 가능한 3차원 형상 추상화를 발견할 수 있는가?
• RQ2 학습된 원소 기반 표현이 형상 카테고리 전반에 걸쳐 형상 부분의 일관된 파싱을 지원할 수 있는가?
• RQ3 기존 기하학적 측정법보다 원소 표현이 더 해석 가능하고 제어 가능한 형상 유사도 측정법을 제공할 수 있는가?
• RQ4 모델이 2차원 이미지 입력으로 일반화되어, 감독 없이도 2D에서 3D 추상화를 수행할 수 있는가?
• RQ5 원소 추상화가 의미 있고 직관적인 형상 조작을 이끌 수 있는가?

주요 결과

• 모델은 복잡한 3차원 형상을 상자형 원소만으로 성공적으로 재구성하며, 의자나 동물과 같은 형상 카테고리 전반에 걸쳐 일관된 부분 수준의 파싱을 달성한다.
• 학습된 원소 기반 임베딩의 t-SNE 시각화 결과는 하위 카테고리(예: 소파, 등받이 의자)별 자연스러운 군집화를 보이며, 기하학적 유사도 측정법보다 더 우수한 의미적 유사도를 반영한다.
• 특정 원소(예: 의자 뒷받치기, 등받이)에 초점을 맞춘 거리 측정법을 사용함으로써, 팔걸이 유무에 따라 의자를 그룹화하는 등 애플리케이션 기반의 유사도를 반영한 임베딩을 생성한다.
• 특정 부분의 방향 차이(예: 뒷받치기 기울기)만 측정할 경우, 임베딩 공간에서 1차원 다양체를 학습함으로써 모델의 해석 가능성과 제어 가능성의 타당성을 확인한다.
• 지식 정복을 통해 이미지 기반 추상화를 달성하였으며, 단일 2차원 이미지에서 원소 레이아웃을 정확하게 예측할 수 있음을 정성적 결과로 보여준다.
• 원소 변형을 통한 형상 조작은 구조를 고려한 자연스러운 메쉬 변형을 생성하며, 국소 정점 좌표를 원소 프레임에 매핑하여 부드러운 변형 전파를 가능하게 한다.