[論文レビュー] Sketch2CAD: Sequential CAD Modeling by Sketching in Context

Changjian Li, Hao Pan+2 more|arXiv (Cornell University)|Sep 10, 2020

3D Shape Modeling and Analysis参考文献 38被引用数 4

ひとこと要約

Sketch2CAD は、進行する部分的な CAD モデルの文脈において各スケッチストロークを解釈することで、自由なスケッチを正確で編集可能な CAD モデルに変換するディープラーニングベースのシステムを導入する。文脈に配慮したニューラルネットワークを用い、スケッチストロークをパラメトリックな CAD 操作（例：押し出し、ラップ、追加/削除）にマッピングすることで、操作認識とパrameter適合の両方において高い正確性を達成し、CAD 専門知識がなくても初心者が迅速に多様で製造可能な 3D モデルを作成できる。

ABSTRACT

We present a sketch-based CAD modeling system, where users create objects incrementally by sketching the desired shape edits, which our system automatically translates to CAD operations. Our approach is motivated by the close similarities between the steps industrial designers follow to draw 3D shapes, and the operations CAD modeling systems offer to create similar shapes. To overcome the strong ambiguity with parsing 2D sketches, we observe that in a sketching sequence, each step makes sense and can be interpreted in the \emph{context} of what has been drawn before. In our system, this context corresponds to a partial CAD model, inferred in the previous steps, which we feed along with the input sketch to a deep neural network in charge of interpreting how the model should be modified by that sketch. Our deep network architecture then recognizes the intended CAD operation and segments the sketch accordingly, such that a subsequent optimization estimates the parameters of the operation that best fit the segmented sketch strokes. Since there exists no datasets of paired sketching and CAD modeling sequences, we train our system by generating synthetic sequences of CAD operations that we render as line drawings. We present a proof of concept realization of our algorithm supporting four frequently used CAD operations. Using our system, participants are able to quickly model a large and diverse set of objects, demonstrating Sketch2CAD to be an alternate way of interacting with current CAD modeling systems.

研究の動機と目的

• スケッチベースのアイデーショニングと正確な CAD モデリングのギャップを埋め、産業デザインのスケッチ作業フローを標準的な CAD 操作と一致させる。
• 過去のモデリングステップからの文脈的理解を活用することで、2D スケッチの解釈における曖昧さを克服する。
• 複雑な CAD ソフトウェアを避けて、直感的なスケッチによって正確で編集可能な CAD モデルを初心者が作成できるようにする。
• 押し出し、ラップ、追加/削除、スイープなどの一般的な CAD 操作を高い認識正確性とパrameter適合でサポートするシステムを開発する。
• ディープラーニング用の文脈に配慮したニューラルネットワークを学習させるために、ペアドされたスケッチシーケンスと CAD 操作からなる合成データセットを生成する。

提案手法

• システムは、現在の部分的な CAD モデルと新しいスケッチストロークの両方を入力として取り、意図された CAD 操作を解釈するためのディープニューラルネットワークを使用する。
• 各 CAD 操作は、特定のスケッチストロークに対応するようにパラメータ化されている（例：平行な2本の曲線でラップ、閉じたループで削除操作）。
• ネットワークはスケッチストロークのインスタンスセグメンテーションを実行し、操作パラメータに対応するコンポONENTを特定する。
• その後の最適化ステップで、セグメンテーションされたストロークに最も適合する正確な幾何学的パラメータを推定する。
• システムは、ランダムな CAD 操作のシーケンスを適用し、その結果をラインアートとしてレンダリングすることで生成された合成データセットで学習される。
• アーキテクチャには、複数の出力マップ（ストローク、ベース、プロファイル、オフセット、面）を持つ U-Net ベースのセグメンテーションヘッドが含まれ、操作認識と適合を支援する。

実験結果

リサーチクエスチョン

• RQ1 現在の部分的な CAD モデルを条件として与えた場合、ディープニューラルネットワークが自由なスケッチストロークを特定の CAD 操作として正確に解釈できるか。
• RQ2 過去のスケッチステップを考慮した文脈モデリングは、孤立したストロークの解釈と比較して、CAD 操作認識の正確性をどの程度向上させるか。
• RQ3 合成データで学習したシステムは、初心者の実際のスケッチに一般化し、正確で編集可能な CAD モデルを生成できるか。
• RQ4 ラップ、追加/削除部品、スイープなどの複雑な操作を、多様なオブジェクトタイプにわたり、どの程度正しく認識・パラメータ化できるか。
• RQ5 産業デザイナーの自然な作業フローを模倣するインタラクティブで逐次的なモデリングをサポートできるか。

主な発見

• 操作認識の正確性は非常に高く、押し出しではトップ1正解率が 98.12%、ラップでも 98.12%（レベル1：最も信頼性の高い予測）を達成した。
• 追加/削除やスイープといった複雑な操作に対しても、高い性能を維持しており、それぞれトップ1正解率が 93.54% および 95.57%（レベル1）であった。
• ノイズや不正確なストロークの変動に対しても、ネットワークは良好に一般化し、3つのノイズレベルにおける定性的な結果でも高い性能を維持した。
• ユーザースタディーの結果、初心者がスケッチのみで多様で複雑なオブジェクトを効率的にモデリングし、正確で編集可能な CAD 輸出を生成できることが示された。
• CAD モデルを手続き的に編集し、再びスケッチにレンダリングできるという、双方向の設計反復を可能にする、まったく新しいワークフローが実現された。
• 合成データ生成パイプラインは、多様で幾何学的に有効なスケッチ-CAD ペアを効果的に生成し、実際のペアデータが不要なエンドツーエンドの学習を可能にした。