[논문 리뷰] Fusion 360 Gallery: A Dataset and Environment for Programmatic CAD Construction from Human Design Sequences

Karl D. D. Willis, Yewen Pu외 6명|arXiv (Cornell University)|2020. 10. 05.

3D Shape Modeling and Analysis참고 문헌 62인용 수 9

한 줄 요약

이 논문은 인간이 설계한 8,625개의 CAD 모델을 간단한 DSL로 표현한 순차적 스케치 및 익스트루드 작업으로 구성된 Fusion 360 갤러리 데이터셋과, CAD 구축을 시뮬레이션하는 강화학습 우호적인 환경인 Fusion 360 겐을 소개한다. 이중 신경망 기반 탐색과 암시 학습을 활용한 방법은 100회의 환경 상호작용 이내에 테스트 설계를 67.5% 정확도로 재구성하며, 평균 해결 시간은 20초 미만이다.

ABSTRACT

Parametric computer-aided design (CAD) is a standard paradigm used to design manufactured objects, where a 3D shape is represented as a program supported by the CAD software. Despite the pervasiveness of parametric CAD and a growing interest from the research community, currently there does not exist a dataset of realistic CAD models in a concise programmatic form. In this paper we present the Fusion 360 Gallery, consisting of a simple language with just the sketch and extrude modeling operations, and a dataset of 8,625 human design sequences expressed in this language. We also present an interactive environment called the Fusion 360 Gym, which exposes the sequential construction of a CAD program as a Markov decision process, making it amendable to machine learning approaches. As a use case for our dataset and environment, we define the CAD reconstruction task of recovering a CAD program from a target geometry. We report results of applying state-of-the-art methods of program synthesis with neurally guided search on this task.

연구 동기 및 목표

• 기반 학습 CAD 연구를 위한 실제 세계적이고 프로그래밍 가능한 CAD 데이터셋이 부족한 문제를 해결하기 위해.
• 기계 학습 기반 접근법이 목표 기하학적 형태에서 인간이 설계한 CAD 모델을 재구성할 수 있도록 하기 위해.
• CAD 재구성 작업을 표준화된 벤치마크로 정의하기 위해 학습 및 테스트 세트, 평가 지표, 실행 가능한 환경을 제공하기 위해.
• CAD 구축을 마르코프 결정 과정으로 모델링하는 확장 가능한 상호작용 환경(Fusion 360 겐)을 개발하기 위해.
• 실제 인간 설계 순서를 기반으로 한 암시 학습과 신경망 기반 탐색을 활용한 기반 학습 CAD 재구성의 가능성을 입증하기 위해.

제안 방법

• Fusion 360 갤러리 데이터셋은 스케치 및 익스트루드 작업만을 사용하는 최소한의 DSL로 표현된 8,625개의 CAD 프로그램을 포함하며, 부울 연산(합집합 및 차집합)도 포함된다.
• Fusion 360 겐 환경은 이러한 작업을 단계별로 해석하며, 각 액션 후 기하학적 피드백을 제공하여 실제 CAD 구축을 시뮬레이션한다.
• 신경망 정책은 메시지 전달 네트워크(MPN)를 사용한 새로운 상태 및 액션 인코딩을 활용해 지식 기반 구축 순서를 기반으로 암시 학습을 통해 훈련된다.
• 추론 단계에서는 검색 알고리즘이 학습된 정책을 활용해 Fusion 360 겐 내에서 탐색을 이끌며, 환경과 반복적으로 상호작용하여 유효한 CAD 프로그램을 발견한다.
• 검색 전략으로는 무작위, 빔 검색, 최선 우선 검색이 포함되며, 성능은 고정된 100회의 환경 상호작용 예산 하에서 평가된다.
• 평가에는 IoU(교차 영역 비율)와 정확한 재구성 정확도를 모두 사용하며, 간결하고 정확한 프로그램 복구에 중점을 둔다.

실험 결과

연구 질문

• RQ1 기반 학습 접근법은 목표 기하학적 형태에서 프로그래밍적이고 순차적인 표현을 사용해 실제 인간이 설계한 CAD 모델을 재구성할 수 있는가?
• RQ2 제한된 수의 환경 상호작용 내에서 암시 학습과 신경망 기반 탐색을 활용해 지식 기반 CAD 구축 순서를 얼마나 효과적으로 복구할 수 있는가?
• RQ3 고정된 상호작용 예산 하에서 검색 전략(예: 무작위, 빔 검색, 최선 우선)이 재구성 성능에 미치는 영향은 어떠한가?
• RQ4 설계 복잡도와 구축 순서 길이가 정확한 CAD 재구성의 가능성에 어떤 영향을 미치는가?
• RQ5 IoU와 같은 지표가 작은 구멍이나 복잡한 기능과 같은 기하학적 세부 사항의 정확한 재구성과 얼마나 관련이 있는가?

주요 결과

• 신경망 기반 탐색 접근법은 100회의 환경 상호작용 예산 내에서 테스트 세트 1,725개의 설계에서 67.5%의 정확한 재구성 정확도를 달성했다.
• 각 설계의 평균 해결 시간은 20초 미만이었으며, Fusion 360 겐 환경에서의 효율적인 추론을 시사한다.
• 무작위 검색은 유리한 액션 공간의 구조와 유효하지 않은 액션의 정제 덕분에 간단한 설계에서는 중간 정도의 성공을 거두었지만, 복잡한 설계에서는 성능이 크게 떨어졌다.
• 빈도 높은 검색 전략과 최선 우선 검색 전략은 예산이 증가함에 따라 무작위 검색을 능가했으며, 더 많은 탐색 단계에서의 확장 가능성을 시사한다.
• IoU 지표는 오해의 소지가 있으며, 작은 구멍이나 복잡한 기능과 같은 핵심 설계 세부 사항을 누락한 잘못된 재구성도 높은 IoU를 기록할 수 있다.
• 간단한 설계—특히 단일 익스트루드 작업만을 포함한 설계(데이터셋의 38%)—는 더 쉽게 재구성되었으며, 더 길고 복잡한 순서에서의 도전 과제를 강조한다.