[論文レビュー] GenCAD: Image-Conditioned Computer-Aided Design Generation with Transformer-Based Contrastive Representation and Diffusion Priors

Md Ferdous Alam, Faez Ahmed|arXiv (Cornell University)|Sep 8, 2024

Manufacturing Process and Optimization被引用数 5

ひとこと要約

GenCADは、自己回帰型トランスフォーマー、対照的なマルチモーダル学習、拡散事前分布を組み合わせることで、入力画像に条件づけられた編集可能なCADコマンド列の生成を学習し、画像駆動のCAD作成と検索を可能にします。

ABSTRACT

The creation of manufacturable and editable 3D shapes through Computer-Aided Design (CAD) remains a highly manual and time-consuming task, hampered by the complex topology of boundary representations of 3D solids and unintuitive design tools. While most work in the 3D shape generation literature focuses on representations like meshes, voxels, or point clouds, practical engineering applications demand the modifiability and manufacturability of CAD models and the ability for multi-modal conditional CAD model generation. This paper introduces GenCAD, a generative model that employs autoregressive transformers with a contrastive learning framework and latent diffusion models to transform image inputs into parametric CAD command sequences, resulting in editable 3D shape representations. Extensive evaluations demonstrate that GenCAD significantly outperforms existing state-of-the-art methods in terms of the unconditional and conditional generations of CAD models. Additionally, the contrastive learning framework of GenCAD facilitates the retrieval of CAD models using image queries from large CAD databases, which is a critical challenge within the CAD community. Our results provide a significant step forward in highlighting the potential of generative models to expedite the entire design-to-production pipeline and seamlessly integrate different design modalities.

研究の動機と目的

• 設計から生産までのパイプラインを迅速化するためにCADモデリングの自動化を促進する。
• 最終的なB-Repだけでなく、CADコマンド列を出力する、スケーラブルな画像条件付き生成モデルを提案する。
• CADプログラムと画像を整列させ、検索を可能にするためにマルチモーダル表現学習を活用する。
• 従来の無条件CAD生成手法より精度と修正性が向上することを実証する。

提案手法

• CADコマンド列の潜在表現を学習する自己回帰型トランスフォーマーエンコーダ-デコーダ（CSR）を開発する。
• ResNetベースの画像エンコーダを用いて、CADコマンドと入力画像の共同潜在空間を学習する対照学習型CAD-Image Pre-training（CCIP）モデルを訓練する。
• 画像潜在表現に条件付けてCAD潜在表現を生成するCAD Diffusion Prior（CDP）を導入し、決定論的なpriorのオプションを提供する。
• CDPが生成した潜在表現からCADコマンド列を生成するために、CSRの事前訓練済みデコーダを使用する。
• CADコマンドを8ビット量子化パラメータを用いた固定次元ベクトル（t_i, p_i）として表現し、言語のようなCADプログラムを形成する。
• 拡散 priors からサンプリングした後、凍結されたCSRデコーダを用いてCAD潜在表現をCADコマンド列にデコードする。）

実験結果

リサーチクエスチョン

• RQ1 自己回帰型トランスフォーマーは、学習した潜在表現からCADコマンド列を効果的に再構成できるか。
• RQ2 対照学習はCADコマンド潜在表現と入力CAD画像の整合性を改善するか？
• RQ3 画像潜在表現に条件付けられた拡散事前分布は、妥当な3Dソリッドを生み出す高品質なCADコマンド列を生成できるか？
• RQ4 画像条件付きのGenCADフレームワークは、画像クエリを用いたCADプログラムの信頼できる検索を可能にするか？

主な発見

• GenCADは、生成されたCADプログラムの精度と修正可能性の点で、最先端の無条件CAD生成手法を著しく上回ります。
• 本フレームワークは、長いCADコマンド列の精度を向上させ、複雑な設計タスクをサポートします。
• CCIPコンポーネントは、CADモデルの画像ベース検索を可能にし、画像同士の検索を上回る大幅な改善（精度が15倍超）をもたらします。
• 本手法は、画像からCADプログラムを効果的に生成し、標準的なジオメトリカーネルを介してB-repや他の表現へ変換できることを示しています。
• 凍結された事前訓練済みCADエンコーダとデコーダを使用することで、大規模データセットへの学習規模を拡大し、効率を向上させます。