[논문 리뷰] Query2CAD: Generating CAD models using natural language queries

Akshay Badagabettu, Sai Sravan Yarlagadda외 1명|arXiv (Cornell University)|2024. 05. 31.

Manufacturing Process and Optimization인용 수 7

한 줄 요약

Query2CAD는 대형 언어 모델을 사용하여 자연어 프롬프트에서 실행 가능한 FreeCAD 매크로를 생성하며, VQA 피드백과 선택적 인간 입력에 의해 안내되는 자기 개선 루프를 포함합니다; GPT-4 Turbo로의 최초 통과 성공률은 53.6%, 개선은 정제 후 23.1% 증가.

ABSTRACT

Computer Aided Design (CAD) engineers typically do not achieve their best prototypes in a single attempt. Instead, they iterate and refine their designs to achieve an optimal solution through multiple revisions. This traditional approach, though effective, is time-consuming and relies heavily on the expertise of skilled engineers. To address these challenges, we introduce Query2CAD, a novel framework to generate CAD designs. The framework uses a large language model to generate executable CAD macros. Additionally, Query2CAD refines the generation of the CAD model with the help of its self-refinement loops. Query2CAD operates without supervised data or additional training, using the LLM as both a generator and a refiner. The refiner leverages feedback generated by the BLIP2 model, and to address false negatives, we have incorporated human-in-the-loop feedback into our system. Additionally, we have developed a dataset that encompasses most operations used in CAD model designing and have evaluated our framework using this dataset. Our findings reveal that when we used GPT-4 Turbo as our language model, the architecture achieved a success rate of 53.6\% on the first attempt. With subsequent refinements, the success rate increased by 23.1\%. In particular, the most significant improvement in the success rate was observed with the first iteration of the refinement. With subsequent refinements, the accuracy of the correct designs did not improve significantly. We have open-sourced our data, model, and code (github.com/akshay140601/Query2CAD).

연구 동기 및 목표

• CAD 프로토타입 시간 감소를 촉진하여 비전문가가 자연어 프롬프트에서 CAD 설계를 생성할 수 있도록 동기 부여.
• 프롬프트를 실행 가능한 FreeCAD 매크로로 변환하는 워크플로우 개발.
• 시각적 피드백을 이용한 자기 개선 루프를 도입하여 CAD 출력 개선.
• 잘못된 음수(false negatives) 처리 및 견고성 향상을 위한 인간-개입 피드백 가능하게.
• 접근 방식 재현 및 확장을 위한 오픈 데이터셋, 모델, 코드 제공.

제안 방법

• LLM이 사용자 프롬프트로부터 FreeCAD의 파이썬 매크로를 생성하여 3D CAD 모델을 만듦.
• 오류 메시지를 이용한 오류 개선 루프가 실행 가능한 코드를 지정된 반복 횟수까지 점진적으로 수정.
• 모델 개선 루프는 Clip-FlanT5-XL의 VQAscore를 사용하여 등각 뷰를 프롬프트와 비교하고 자막 기반 피드백을 촉발.
• BLIP2는 설계를 설명하는 자막을 생성하고, 인간 피드백으로 보강하여 정교화를 유도.
• PyAutoGUI는 FreeCAD 매크로 실행 워크플로를 자동화.
• 모든 LLM 호출에 대해 소샷 프롬프트를 사용; 프로세스는 최대 세 번의 정교화 반복을 허용.

실험 결과

연구 질문

• RQ1 LLM이 자연어 프롬프트에서 실행 가능한 CAD 매크로를 생성하여 FreeCAD 모델을 정확하게 만들어낼 수 있는가?
• RQ2 반복 정교화 루프(오류 주도 및 모델 주도)가 직접 생성에 비해 CAD 설계 정확도를 향상시키는가?
• RQ3 VQA 기반 점수가 설계 정확도와 상관관계가 있으며 중지 기준을 결정하는가?
• RQ4 초기 성공 및 정교화 이득에 미치는 모델 선택(GPT-3.5 Turbo vs GPT-4 Turbo)의 영향은 무엇인가?
• RQ5 언어에서의 완전 자동 CAD 생성의 한계와 실패 모드는 무엇인가?

주요 결과

모델	쉬움	중간	어려움
GPT-3.5 Turbo	85.71%	35%	37.5%
GPT-4 Turbo	95.23%	70%	41.7%

• 최초 통과 성공률은 LLM에 의존; GPT-4 Turbo는 직접 생성에서 쉬운 질문에 대해 53.6%.
• 정교화로 정확도가 데이터 세트 전체에서 평균 23.1% 증가하며 첫 번째 정교화가 최대 이득을 기여.
• 쉬운 질문은 GPT-4 Turbo로 최대 95.23% 정확도, 중간 및 어려운 질문은 각각 70%와 41.7%에 도달.
• GPT-3.5 Turbo는 쉬움 85.71%, 중간 35%, 어려움 37.5% 정확도에 도달하며 정교화로 비슷한 개선.
• 더 약한 모델(예: Codellama-70B)은 편향된 판단 및 일관되지 않은 추론을 보여 성능이 저조.
• BLIP2 자막만으로는 인간 피드백과 결합했을 때보다 정교화에 덜 효과적임.