[논문 리뷰] Sketch2CAD: Sequential CAD Modeling by Sketching in Context

Changjian Li, Hao Pan외 2명|arXiv (Cornell University)|2020. 09. 10.

3D Shape Modeling and Analysis참고 문헌 38인용 수 4

한 줄 요약

Sketch2CAD는 부분적인 CAD 모델의 맥락을 고려해 순차적인 손그림 스케치를 정밀하고 편집 가능한 CAD 모델로 변환하는 딥러닝 기반 시스템을 소개한다. 맥락 인식 신경망을 사용해 각 스케치 스트로크를 기하학적 파arametric CAD 작업(예: 프로파일 이송, 라운딩, 추가/제거)으로 매핑함으로써, 작업 인식 및 파aram터 피팅의 높은 정확도를 달성하여 초보자도 CAD 전문 지식 없이 빠르게 다양한 제조 가능한 3D 모델을 생성할 수 있도록 한다.

ABSTRACT

We present a sketch-based CAD modeling system, where users create objects incrementally by sketching the desired shape edits, which our system automatically translates to CAD operations. Our approach is motivated by the close similarities between the steps industrial designers follow to draw 3D shapes, and the operations CAD modeling systems offer to create similar shapes. To overcome the strong ambiguity with parsing 2D sketches, we observe that in a sketching sequence, each step makes sense and can be interpreted in the \emph{context} of what has been drawn before. In our system, this context corresponds to a partial CAD model, inferred in the previous steps, which we feed along with the input sketch to a deep neural network in charge of interpreting how the model should be modified by that sketch. Our deep network architecture then recognizes the intended CAD operation and segments the sketch accordingly, such that a subsequent optimization estimates the parameters of the operation that best fit the segmented sketch strokes. Since there exists no datasets of paired sketching and CAD modeling sequences, we train our system by generating synthetic sequences of CAD operations that we render as line drawings. We present a proof of concept realization of our algorithm supporting four frequently used CAD operations. Using our system, participants are able to quickly model a large and diverse set of objects, demonstrating Sketch2CAD to be an alternate way of interacting with current CAD modeling systems.

연구 동기 및 목표

• 산업 설계 스케치 워크플로우를 표준 CAD 작업과 연결함으로써 스케치 기반의 아이디어 도출과 정밀한 CAD 모델링 사이의 격차를 메우기 위해.
• 이전 모델링 단계에서의 맥락을 활용해 2D 스케치 해석의 모호함을 줄이기 위해.
• 복잡한 CAD 소프트웨어를 거치지 않고도 직관적인 스케치를 통해 정확하고 편집 가능한 CAD 모델을 초보자도 생성할 수 있도록 하기 위해.
• 프로파일 이송, 라운딩, 추가/제거, 스위프 등 일반적인 CAD 작업을 높은 인식 정확도와 파aram터 피팅으로 지원하는 시스템을 개발하기 위해.
• 딥러닝 네트워크를 훈련하기 위해 쌍체의 스케치 시퀀스와 CAD 작업을 포함한 합성 데이터셋을 생성하기 위해.

제안 방법

• 시스템은 현재 부분 CAD 모델과 새로운 스케치 스트로크를 입력으로 받아 의도한 CAD 작업을 해석하는 딥 네트워크를 사용한다.
• 각 CAD 작업은 특정 스케치 스트로크에 매핑되도록 파aram터화된다(예: 라운딩의 경우 두 개의 평행 곡선, 제거 작업의 경우 닫힌 루프).
• 네트워크는 스트로크의 인스턴스 세그멘테이션을 수행해 파aram터에 해당하는 구성 요소를 식별한다.
• 다음 최적화 단계에서 세그멘테이션된 스트로크에 가장 잘 맞는 CAD 작업의 정확한 기하학적 파aram터를 추정한다.
• 시스템은 무작위로 적용된 CAD 작업 시퀀스를 사용해 생성된 합성 데이터셋으로 훈련된다.
• 아키텍처는 U-Net 기반의 세그멘테이션 헤드를 포함하며, 스트로크, 기준면, 프로파일, 오프셋, 면 등의 다중 출력 맵을 통해 작업 인식 및 피팅을 안내한다.

실험 결과

연구 질문

• RQ1 현재 부분 CAD 모델을 조건으로 하여 딥 뉴럴 네트워크가 손그림 스트로크를 특정 CAD 작업으로 정확하게 해석할 수 있는가?
• RQ2 이전 스케치 단계를 고려한 맥락 모델링은 고립된 스트로크 해석에 비해 CAD 작업 인식 정확도를 얼마나 향상시키는가?
• RQ3 합성 데이터로 훈련된 시스템이 초보자들이 작성한 실제 스케치에 대해 일반화되어 정확하고 편집 가능한 CAD 모델을 생성할 수 있는가?
• RQ4 라운딩, 추가/제거, 스위프와 같은 복잡한 작업을 다양한 객체 유형에 걸쳐 얼마나 잘 인식하고 파aram터화할 수 있는가?
• RQ5 산업 디자이너의 자연스러운 워크플로우를 반영하는 상호작용적이고 순차적인 모델링을 시스템이 지원할 수 있는가?

주요 결과

• 시스템은 작업 인식 정확도가 매우 높으며, 프로파일 이송과 라운딩의 경우 레벨 1(가장 확신 있는 예측)에서 각각 98.12%의 정확도를 기록했다.
• 추가/제거 및 스위프와 같은 복잡한 작업의 경우에도 높은 성능 유지를 보였으며, 레벨 1에서 각각 93.54%와 95.57%의 정확도를 기록했다.
• 노이즈나 정확도가 떨어지는 스트로크에 대해서도 스케치 왜곡에 잘 일반화되어 있어, 세 가지 노이즈 수준에서의 정성적 결과에서도 높은 성능을 유지했다.
• 사용자 연구 결과, 초보자들이 단지 스케치만으로도 다양한 복잡하고 다양한 객체를 효율적으로 모델링하여 정밀하고 편집 가능한 CAD 출력물을 생성할 수 있었다.
• CAD 모델을 절차적으로 편집하고 다시 스케치로 렌더링할 수 있도록 하는 새로운 워크플로우를 지원함으로써 双방향 디자인 반복이 가능해졌다.
• 합성 훈련 데이터 생성 파이프라인은 다양하고 기하학적으로 타당한 스케치-CAD 쌍을 성공적으로 생성하여, 실제 쌍체 데이터 없이도 엔드 투 엔드 훈련을 가능하게 했다.