[論文レビュー] From Concept to Manufacturing: Evaluating Vision-Language Models for Engineering Design

Cyril Picard, Kristen M. Edwards+5 more|arXiv (Cornell University)|Nov 21, 2023

Machine Learning in Materials Science被引用数 17

ひとこと要約

本論文はGPT-4VとLLaVA 1.6 34Bを、概念設計から製造段階までのエンジニアリングデザインタスクに対して系統的に評価し、将来のVLM評価のためのベンチマークデータセットと prompts を公開する。

ABSTRACT

Engineering design is undergoing a transformative shift with the advent of AI, marking a new era in how we approach product, system, and service planning. Large language models have demonstrated impressive capabilities in enabling this shift. Yet, with text as their only input modality, they cannot leverage the large body of visual artifacts that engineers have used for centuries and are accustomed to. This gap is addressed with the release of multimodal vision-language models (VLMs), such as GPT-4V, enabling AI to impact many more types of tasks. Our work presents a comprehensive evaluation of VLMs across a spectrum of engineering design tasks, categorized into four main areas: Conceptual Design, System-Level and Detailed Design, Manufacturing and Inspection, and Engineering Education Tasks. Specifically in this paper, we assess the capabilities of two VLMs, GPT-4V and LLaVA 1.6 34B, in design tasks such as sketch similarity analysis, CAD generation, topology optimization, manufacturability assessment, and engineering textbook problems. Through this structured evaluation, we not only explore VLMs' proficiency in handling complex design challenges but also identify their limitations in complex engineering design applications. Our research establishes a foundation for future assessments of vision language models. It also contributes a set of benchmark testing datasets, with more than 1000 queries, for ongoing advancements and applications in this field.

研究の動機と目的

• スケッチ、図面、テキストを組み合わせたマルチモーダルなエンジニアリングデザインタスクを、ビジョンと言語モデルがどのように扱えるか評価する。
• エンジニアリングデザインを評価するための標準化されたベンチマークとデータセットを作成する。
• デザイン文脈におけるVLMの能力と限界を特定するための定性的・定量的分析を提供する。
• エンジニアリングデザインにおける将来のVLM開発を導くベースライン評価を提供する。

提案手法

• 画像を主入力として短文プロンプトを用いたプロンプトと実験を開発した。
• 設計類似性、初期段階のスケッチ説明、CAD生成、トポロジー最適化の理解、製造性評価、機械加工特徴の識別、欠陥の識別、教科書問題、空間推論を含むタスクでGPT-4Vを評価するために1000以上のクエリを実施した。
• 同じタスクとデータセットを用いて、オープンソースVLMのLLaVA 1.6 34BとGPT-4Vを比較した。
• ベンチマークタスクの再現性を高めるために、正確なプロンプトとモデル応答を提供した。

実験結果

リサーチクエスチョン

• RQ1 ビジョンと言語の両方の入力を使用するエンジニアリングデザインタスクをVLMは効果的に実行できるか？
• RQ2 概念設計、詳細設計、製造/検査、教育関連タスクでのVLMのパフォーマンスは、人間のベースラインと比較してどうか？
• RQ3 設計文脈におけるVLMの限界と故障モードは何か、そしてベンチマークは今後の改善をどう促せるか？
• RQ4 標準化されたデータセットとプロンプトは、エンジニアリングデザインタスクのVLM間で公正な比較を可能にするか？

主な発見

• GPT-4Vは設計類似性タスクで高い自己一貫性を達成（94.0%）し、360のトリプレットにわたる推移的違反を最小化（5）、人間の評価者と同等かそれ以上の性能。
• GPT-4Vはアイデアマップを設計特徴で論理的にクラスタリングする（例：ミルクフォーマーのカップ vs 自転車）ように、人間が作成したマップと同様の傾向で表現する。
• 説明一致タスクは手書き文字がスケッチに含まれる場合は完全な正確さ（10/10）を示す。手書き文字がない場合は性能が低下するが、偶然以上を維持し、「None of the above」を除外すると改善。
• スケッチからの説明生成について、GPT-4Vは設計内容と整合する説明文を生成でき、スケッチ品質に影響を受ける。定性的プロンプトは有益な説明を生み出すことがある。
• 本研究は1000件超のクエリを含むデータセットを提供し、入力/プロンプト/回答を公に公開して、エンジニアリングデザインにおけるVLMの将来のベンチマークを可能にする。