[논문 리뷰] From Concept to Manufacturing: Evaluating Vision-Language Models for Engineering Design

Cyril Picard, Kristen M. Edwards외 5명|arXiv (Cornell University)|2023. 11. 21.

Machine Learning in Materials Science인용 수 17

한 줄 요약

이 논문은 체계적으로 GPT-4V 및 LLaVA 1.6 34B를 엔지니어링 설계 과제에 대해 개념 단계에서 제조 단계까지 평가하고, 향후 VLM 평가를 위한 벤치마크 데이터셋과 프롬프트를 발표한다.

ABSTRACT

Engineering design is undergoing a transformative shift with the advent of AI, marking a new era in how we approach product, system, and service planning. Large language models have demonstrated impressive capabilities in enabling this shift. Yet, with text as their only input modality, they cannot leverage the large body of visual artifacts that engineers have used for centuries and are accustomed to. This gap is addressed with the release of multimodal vision-language models (VLMs), such as GPT-4V, enabling AI to impact many more types of tasks. Our work presents a comprehensive evaluation of VLMs across a spectrum of engineering design tasks, categorized into four main areas: Conceptual Design, System-Level and Detailed Design, Manufacturing and Inspection, and Engineering Education Tasks. Specifically in this paper, we assess the capabilities of two VLMs, GPT-4V and LLaVA 1.6 34B, in design tasks such as sketch similarity analysis, CAD generation, topology optimization, manufacturability assessment, and engineering textbook problems. Through this structured evaluation, we not only explore VLMs' proficiency in handling complex design challenges but also identify their limitations in complex engineering design applications. Our research establishes a foundation for future assessments of vision language models. It also contributes a set of benchmark testing datasets, with more than 1000 queries, for ongoing advancements and applications in this field.

연구 동기 및 목표

• 비주얼-언어 모델이 스케치, 도면, 텍스트를 결합한 멀티모달 엔지니어링 설계 과제를 어떻게 다루는지 평가한다.
• VLM을 엔지니어링 설계에서 평가하기 위한 표준화된 벤치마크와 데이터셋을 만든다.
• 설계 맥락에서 VLM의 역량과 한계를 식별하기 위한 질적 및 정량적 분석을 제공한다.
• 향후 엔지니어링 설계에서 VLM 개발을 안내하기 위한 기준 평가를 제공한다.

제안 방법

• 이미지를 주요 입력으로 하는 짧은 텍스트 프롬프트를 중심으로 프롬프트와 실험을 개발했다.
• 설계 유사성, 초기 스케치 설명, CAD 생성, 토폴로지 최적화 이해, 제조 가능성 평가, 가공 기능 식별, 결함 식별, 교과서 문제, 공간 추론 등을 포함한 과제에서 GPT-4V를 평가하기 위해 1000건以上의 질의를 수행했다.
• 동일한 과제와 데이터셋을 사용하여 오픈 소스 VLM인 LLaVA 1.6 34B와 GPT-4V를 비교했다.
• 벤치마크 과제의 재현성을 가능하게 하기 위해 정확한 프롬프트와 모델 응답을 제공했다.

실험 결과

연구 질문

• RQ1 비주얼-언어 모델이 시각적 입력과 텍스트 입력을 모두 활용하는 엔지니어링 설계 과제를 효과적으로 수행할 수 있는가?
• RQ2 개념 설계, 상세 설계, 제조/검사, 교육 관련 과제에서 VLM은 인간 기준선과 비교하여 어떤 성능을 보이는가?
• RQ3 공학 설계 맥락에서 VLM의 한계와 실패 모드는 무엇이며 벤치마크가 향후 개선을 어떻게 주도할 수 있는가?
• RQ4 표준화된 데이터셋과 프롬프트가 엔지니어링 설계 과제에서 VLM 간 공정한 비교를 가능하게 하는가?

주요 결과

• GPT-4V는 설계 유사성 과제에서 높은 자기일관성을 달성하고(94.0%) 360개의 트리플릿에서 연쇄 위반을 최소화하며, 인간 평가자와 동등하거나 더 나은 수준으로 평가된다.
• GPT-4V는 아이디어 맵이 디자인 특징에 따라 논리적으로 클러스터링되는 경향을 나타내며(예: 우유 거품기 컵 vs. 자전거) 인간이 생성한 맵과 유사하게 구성된다.
• 설명 일치 과제는 스케치에 손필기 텍스트가 존재할 때 완벽한 정확도(10/10)를 보이며, 손필기 텍스트가 없으면 성능이 하락하나 여전히 확률보다 높고, “None of the above” 옵션이 제거되면 성능이 개선된다.
• 스케치에서의 설명 생성에 대해 GPT-4V는 설계 콘텐츠와 일치하는 서술적 텍스트를 생성할 수 있으며, 결과는 스케치 품질의 영향을 받으며, 질적 프롬프트는 유익한 설명을 도출할 수 있다.
• 본 연구는 1000건 이상의 질의를 포함한 데이터셋을 제공하고 입력/프롬프트/응답을 공개하여 엔지니어링 설계에서 VLM 벤치마킹을 향후 가능하게 한다.