[논문 리뷰] Combinatorial 3D Shape Generation via Sequential Assembly

Jungtaek Kim, Hyunsoo Chung외 3명|arXiv (Cornell University)|2020. 04. 16.

3D Shape Modeling and Analysis참고 문헌 44인용 수 7

한 줄 요약

이 논문은 기하 도형 원소를 순차적으로 조립하여 조합적 3D 형상 생성을 위한 베이지안 최적화 기반 프레임워크를 제안한다. 이는 형상 합성에서 발생하는 조합 폭발 문제를 해결한다. 평가 함수에 전역 형상 가이던스와 물리적 안정성을 통합함으로써, 타당한 원소 조합을 효율적으로 탐색하며, 샘플 효율적이고 현실적인 3D 형상 생성을 달성하고, 새로운 14개 클래스, 406개 인스턴스로 구성된 데이터셋을 도입하여 벤치마크를 제공한다.

ABSTRACT

Sequential assembly with geometric primitives has drawn attention in robotics and 3D vision since it yields a practical blueprint to construct a target shape. However, due to its combinatorial property, a greedy method falls short of generating a sequence of volumetric primitives. To alleviate this consequence induced by a huge number of feasible combinations, we propose a combinatorial 3D shape generation framework. The proposed framework reflects an important aspect of human generation processes in real life -- we often create a 3D shape by sequentially assembling unit primitives with geometric constraints. To find the desired combination regarding combination evaluations, we adopt Bayesian optimization, which is able to exploit and explore efficiently the feasible regions constrained by the current primitive placements. An evaluation function conveys global structure guidance for an assembly process and stability in terms of gravity and external forces simultaneously. Experimental results demonstrate that our method successfully generates combinatorial 3D shapes and simulates more realistic generation processes. We also introduce a new dataset for combinatorial 3D shape generation. All the codes are available at \url{https://github.com/POSTECH-CVLab/Combinatorial-3D-Shape-Generation}.

연구 동기 및 목표

• 기하 도형 원소를 조립할 때 발생하는 3D 형상 생성의 조합 폭발 문제를 해결하기 위해.
• 기하 제약 조건과 안정성 고려를 통해 인간과 유사한 순차적 조립 과정을 모델링하기 위해.
• 거대한 조합 공간에서 브루트 포스 검색을 피하는 샘플 효율적인 방법을 개발하기 위해.
• 순차적 원소 조립을 위한 새로운 벤치마크 데이터셋을 도입하기 위해.
• 전역 구조와 물리적 힘에 의해 가이드되는 현실적이고 안정적인 3D 형상 생성을 가능하게 하기 위해.

제안 방법

• 이 방법은 탐색 공간 내에서 탐색과 이용의 균형을 이루는 데 베이지안 최적화를 사용하여 다음 원소 배치를 반복적으로 선택한다.
• 평가 함수는 전역 형상 가이던스(예: 높이, 너비, 두께, 연결된 스탠드)와 물리적 안정성(중력 및 외부 힘)을 통합한다.
• 성능이 일정 기간 동안 정체될 경우를 대비해 국소 최적값에서 벗어나기 위한 롤백 메커니즘이 프레임워크에 포함되어 있다.
• 반복적인 배치를 허용하지 않고 최대 5번의 연속 롤백을 허용함으로써 무한 롤백을 방지한다.
• 조립 과정을 제약 조건이 있는 원소 배치의 순서로 모델링하며, 중첩 및 접촉 여부를 검증한다.
• 이 방법은 미분 가능한 평가 함수를 구현하고, 부품 샘플링, 제거 및 순서 조작을 지원한다.

실험 결과

연구 질문

• RQ1 기하 도형 원소를 사용할 때 베이지안 최적화가 3D 형상 생성의 조합 폭발 문제를 효과적으로 해결할 수 있는가?
• RQ2 전역 형상 구조와 물리적 안정성을 함께 모델링하여 현실적인 3D 형상 조립을 어떻게 유도할 수 있는가?
• RQ3 순차적 조립 프레임워크가 인간과 유사한 3D 형상 구축 과정을 어느 정도 시뮬레이션할 수 있는가?
• RQ4 순차적, 분해 가능하고 조작 가능한 원소 순서를 포함한 새로운 데이터셋이 조합적 3D 생성을 위한 타당한 벤치마크로 기능할 수 있는가?
• RQ5 샘플 효율성과 최적 구성에 수렴하는 데 있어 제안된 방법이 베이스라인에 비해 어느 정도 우수한가?

주요 결과

• 제안된 방법은 118개의 단위 원소를 사용하여 자동차와 같은 복잡한 3D 형상을 현실적인 순차적 조립 과정을 통해 성공적으로 생성하였다.
• 모든 네 가지 평가 실험에서 베이스라인을 능가하며 오라클 성능에 가장 가까운 결과를 달성하였다.
• 5개의 2×4 레고 브릭 조합에서 5900만 개 이상의 조합이 존재함에도 불구하고, 브루트 포스 순열을 피하는 샘플 효율성을 입증하였다.
• 새로운 조합적 3D 형상 데이터셋은 14개 클래스에 총 406개 인스턴스를 포함하며, 순차적 생성, 검증 및 부품 샘플링을 지원한다.
• 롤백 메커니즘이 무한 루프를 방지하고 생산적이지 않은 순서를 되돌림으로써 수렴성을 향상시켰다.
• 물리적 안정성과 전역 형상 가이던스의 통합은 더 현실적이고 물리적으로 타당한 3D 형상 조립을 이끌어냈다.