[논문 리뷰] Pointer-CAD: Unifying B-Rep and Command Sequences via Pointer-based Edges & Faces Selection

Dacheng Qi, Chenyu Wang외 7명|arXiv (Cornell University)|2026. 03. 04.

Manufacturing Process and Optimization인용 수 0

한 줄 요약

Pointer-CAD는 B-rep 에지와 면을 직접 참조하는 포인터 기반 명령 시퀀스를 도입하여 모서리 다듬기(chamfer), 필렛(fillet)과 같은 복잡한 편집을 가능하게 하고 양자화 오차를 줄이며, prior B-rep 기하를 조건으로 하는 LLM 기반의 다단계 CAD 생성 프레임워크를 제공합니다.

ABSTRACT

Constructing computer-aided design (CAD) models is labor-intensive but essential for engineering and manufacturing. Recent advances in Large Language Models (LLMs) have inspired the LLM-based CAD generation by representing CAD as command sequences. But these methods struggle in practical scenarios because command sequence representation does not support entity selection (e.g. faces or edges), limiting its ability to support complex editing operations such as chamfer or fillet. Further, the discretization of a continuous variable during sketch and extrude operations may result in topological errors. To address these limitations, we present Pointer-CAD, a novel LLM-based CAD generation framework that leverages a pointer-based command sequence representation to explicitly incorporate the geometric information of B-rep models into sequential modeling. In particular, Pointer-CAD decomposes CAD model generation into steps, conditioning the generation of each subsequent step on both the textual description and the B-rep generated from previous steps. Whenever an operation requires the selection of a specific geometric entity, the LLM predicts a Pointer that selects the most feature-consistent candidate from the available set. Such a selection operation also reduces the quantization error in the command sequence-based representation. To support the training of Pointer-CAD, we develop a data annotation pipeline that produces expert-level natural language descriptions and apply it to build a dataset of approximately 575K CAD models. Extensive experimental results demonstrate that Pointer-CAD effectively supports the generation of complex geometric structures and reduces segmentation error to an extremely low level, achieving a significant improvement over prior command sequence methods, thereby significantly mitigating the topological inaccuracies introduced by quantization error.

연구 동기 및 목표

• 명령 시퀀스 CAD 생성이 이전 연구에서 엔티티 선택 및 위상적 오류에 어떻게 취약한지 동기를 부여합니다.
• 생성 과정에서 B-rep 요소를 명시적으로 참조하기 위한 포인터 기반 표현을 제안합니다.
• 누적된 B-rep 기하를 조건으로 하는 다단계 텍스트-투-CAD 프레임워크로 Pointer-CAD를 개발합니다.
• 약 57만 개 수준의 전문가 주석 데이터셋을 구축하여 접근법을 학습 및 평가합니다.
• 이전 명령 시퀀스 방법에 비해 기하 정밀도와 위상 품질의 향상을 시연합니다.

제안 방법

• 포인터 기반 표현에서 세 가지 토큰 유형을 도입합니다: 라벨 토큰(Label Tokens), 값 토큰(Value Tokens), 그리고 B-rep 요소에 대한 포인터(Pointers to B-rep elements).
• 텍스트와 이전 B-rep을 조건으로 하는 스케치-익스트루드(sketch-extrude), 모서리 다듬기(chamfer), 필렛(fillet) 등 순차적 단계로 CAD 모델 구성을 분해합니다.
• B-rep으로부터 면 인접 그래프를 구성하고 그래프 신경망(GNN)을 사용하여 LLM 입력을 위한 지역 특징을 전파합니다.
• LoRA 파인튜닝이 적용된 Qwen2.5 기반 LLM을 사용하여 단계별 토큰과 포인터를 예측하고, 실행 가능한 CAD 명령으로 변환합니다.
• 예측 임베딩과 후보 임베딩 간의 코사인 유사도에 의해 대상 면/에지 선택을 하는 포인터 메커니즘을 구현합니다.
• 레이블/값 토큰 예측(레이블 스무딩이 있는 크로스 엔트로피)과 포인터 예측(대조적 유사 손실과 유사한 손실)을 결합한 공동 목표로 학습합니다.

Figure 1 : Illustration of the strength of our proposed pointer-based command sequence compared to the previous command sequence-based CAD representation. Command sequences suffer from the inability to refer to specific edges or faces, and discretization-induced quantization errors. In contrast, Poi

실험 결과

연구 질문

• RQ1 포인터 기반 명령 표현이 복잡한 CAD 편집을 위한 명시적 엔티티 선택을 가능하게 할 수 있나요?
• RQ2 다단계 생성 프레임워크에서 진화하는 B-rep에 조건화하는 것이 위상적 충실도와 기하학적 정확도를 향상시키나요?
• RQ3 그래프 기반의 B-rep 인코딩을 LLM과 통합하면 명령 시퀀스의 품질과 다운스트림 CAD 유효성에 어떤 영향을 주나요?
• RQ4 전통적인 명령 시퀀스와 비교했을 때 모서리 다듬기/필렛 지원 및 전반적 위상 품질에서 어떤 이점이 나타나요?
• RQ5 실행 가능한 CAD 스크립트를 생성할 때 기존 텍스트-투-CAD 기법 및 범용 LLM과 비교해 성능은 어떠한가요?

주요 결과

• Pointer-CAD는 이전의 명령 시퀀스 방법에 비해 명령 정확도와 기하 정밀도를 향상시킵니다.
• 포인터 메커니즘은 면/에지를 명시적으로 선택할 수 있게 하여 모서리 다듬기(chamfer)와 필렛(fillet) 작업을 지원합니다.
• 누적된 B-rep에 조건화된 다단계 생성 프로세스는 양자화 및 위상 오류를 줄입니다.
• GNN으로 보강된 B-rep 표현은 arc 관련 기하 재구성에 상당한 도움을 줍니다.
• 프레임워크는 베이스라인에 비해 위상 품질과 누수 없이 닫힌 해를 나타내는Watertightness 지표에서 우수한 성능을 달성합니다.
• 실험에서 Pointer-CAD가 일부 베이스라인에 비해 더 작은 LLM 바탕에서도 잘 작동하는 것을 보였습니다.

Figure 2 : Pointer-CAD Pipeline. At each generation step, the full user prompt is tokenized, while the B-rep is updated with all geometry generated so far. A multimodal fusion module combines the textual prompt with the evolving B-rep, which is further encoded via a graph neural network over its fac