[논문 리뷰] CvxNet: Learnable Convex Decomposition

Boyang Deng, Kyle Genova외 4명|arXiv (Cornell University)|2019. 09. 12.

3D Shape Modeling and Analysis참고 문헌 73인용 수 7

한 줄 요약

CvxNet는 3D 형상을 소수의 볼록 다면체로 분해하는 가중치로 미분 가능한 자기지도 학습 신경망을 제안하며, 3D 복원 및 파art 기반 검색과 같은 작업에 대한 엔드 투 엔드 학습을 가능하게 한다. 다중 시점 깊이 복원에서 최신 기술 수준의 성능을 달성하며, 복원 정확도와 의미 일致성 측면에서 이전 방법들을 능가한다.

ABSTRACT

Any solid object can be decomposed into a collection of convex polytopes (in short, convexes). When a small number of convexes are used, such a decomposition can be thought of as a piece-wise approximation of the geometry. This decomposition is fundamental in computer graphics, where it provides one of the most common ways to approximate geometry, for example, in real-time physics simulation. A convex object also has the property of being simultaneously an explicit and implicit representation: one can interpret it explicitly as a mesh derived by computing the vertices of a convex hull, or implicitly as the collection of half-space constraints or support functions. Their implicit representation makes them particularly well suited for neural network training, as they abstract away from the topology of the geometry they need to represent. However, at testing time, convexes can also generate explicit representations -- polygonal meshes -- which can then be used in any downstream application. We introduce a network architecture to represent a low dimensional family of convexes. This family is automatically derived via an auto-encoding process. We investigate the applications of this architecture including automatic convex decomposition, image to 3D reconstruction, and part-based shape retrieval.

연구 동기 및 목표

• 3D 형상 컬렉션에서 낮은 차원의 볼록 다면체 가족을 학습할 수 있는 자기지도 학습, 엔드 투 엔드 미분 가능한 아키텍처를 개발하는 것.
• 볼록 형상의 기하학적 및 위상적 성질을 활용하여 인간의 감독 없이 자동으로 볼록 분해를 수행하는 것.
• 등가의 다각형 메쉬 출력을 직접 네트워크에서 생성하여 Marching Cubes와 같은 계산 비용이 큰 등치면 생성 과정을 피하는 것.
• 실시간 물리 시뮬레이션, 이미지에서의 3D 복원, 의미론적 파art 검색과 같은 후속 응용을 지원하는 것.
• 형상 간 의미적 구조를 포착하는 파art 기반 표현을 수립하여 형상 구성 요소의 일관된 레이블링과 검색을 가능하게 하는 것.

제안 방법

• 형상 인코더가 3D 기하학을 볼록 구성 요소를 나타내는 잠재 코드로 매핑하는 오토인코더 아키텍처를 사용한다.
• 각 볼록체는 반평면 집합(반평면 제약 조건)을 통해 암묵적으로 표현되며, 소프트맥스(LogSumExp) 함수를 통해 볼록 정의를 통한 기울기 흐름을 가능하게 한다.
• 디코더는 볼록체의 암묵적 지표 함수를 조합하여 서로 다른 병합 연산을 사용해 원래 형상을 재구성한다.
• 다중 구성 요소 손실을 사용하여 모델을 학습한다: 부호 거리 함수 기반 복원 손실, 예측된 볼록체를 지도 데이터 기반 기초 형상과 정렬하기 위한 가이드 손실, 기하학적 충실도를 유지하기 위한 국소 손실.
• 사람이 레이블링한 파art 정보 없이도 원시 3D 데이터(바이트, 점군, 깊이 맵, 또는 RGB 이미지)에서 엔드 투 엔드로 학습된다.
• 출력은 다각형 메쉬로 표현된 볼록 다면체 집합이며, 추가 처리 없이 그래픽스 및 물리 파이프라인에서 바로 사용 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 볼록 기반 원소만을 사용하여 3D 형상의 압축적이고 분리된, 의미론적으로 유의미한 표현을 학습할 수 있는가?
• RQ2 자기지도 학습, 미분 가능한 아키텍처를 통해 다중 시점 깊이 또는 단일 RGB 이미지에서 볼록 분해를 사용해 3D 형상을 얼마나 잘 복원할 수 있는가?
• RQ3 CvxNet가 학습한 볼록 분해가 형상 카테고리 간 의미 일치성을 어느 정도 유지하는가(예: 의자 다리, 테이블 위판)?
• RQ4 학습된 볼록 표현이 파art 기반 형상 검색 및 물리 시뮬레이션과 같은 후속 작업을 지원할 수 있는가?
• RQ5 3D 복원 및 볼록 분해 측면에서 CvxNet의 성능은 최신 기술 수준의 방법들과 비교해 어떻게 되는가, 특히 F-스코어와 복원 정확도 측면에서?

주요 결과

• CvxNet는 다중 시점 깊이 입력 복원에서 최신 기술 수준의 F-스코어를 달성하며, 정량적 평가에서 선도적 방법 OccNet [44]를 능가한다.
• 모델의 복원 정확도 대 볼록체 수의 파레토 최적 곡선은 SIF [21]의 곡선을 지배하며, 압축성과 정밀도 사이의 우월한 트레이드오프를 보여준다.
• 구성 요소 대응을 통한 의미론적 파art 레이블링은 PartNet 데이터셋에서 높은 정확도를 달성했으며, 유사한 형상 부분(예: 의자 다리)에서 동일한 볼록 구성 요소에 대해 일관된 레이블링을 구현했다.
• 네트워크는 직접적으로 등가의 다각형 메쉬 출력을 생성하여 계산 비용이 큰 등치면 생성 과정을 회피함으로써, 물리 시뮬레이션 및 렌더링 파이프라인에서 바로 사용 가능하다.
• 절단 실험 결과 모든 손실 구성 요소(복원, 가이드, 국소)가 효과적인 학습을 위해 필수적임을 확인했으며, 블로킹 차원 및 볼록체 수의 변동에 대해 모델이 강건함을 입증했다.
• CvxNet는 RGB에서 3D 복원으로의 일반화 성능이 뛰어나, 사전 훈련 없이 인코더와 디코더를 모두 새로 훈련함에도 불구하고 최신 기술 수준의 방법과 비교해 유사한 성능을 달성했다.