[論文レビュー] DeepSpline: Data-Driven Reconstruction of Parametric Curves and Surfaces

Jun Gao, Chengcheng Tang+4 more|arXiv (Cornell University)|Jan 12, 2019

Advanced Numerical Analysis Techniques参考文献 26被引用数 36

ひとこと要約

この論文は、深層学習フレームワークを提案し、画像または点群から2Dのスpline曲線と3Dのスplineベースの曲面を再構成する。階層RNNと教師なし学習を用いて手動初期化を回避する。

ABSTRACT

Reconstruction of geometry based on different input modes, such as images or point clouds, has been instrumental in the development of computer aided design and computer graphics. Optimal implementations of these applications have traditionally involved the use of spline-based representations at their core. Most such methods attempt to solve optimization problems that minimize an output-target mismatch. However, these optimization techniques require an initialization that is close enough, as they are local methods by nature. We propose a deep learning architecture that adapts to perform spline fitting tasks accordingly, providing complementary results to the aforementioned traditional methods. We showcase the performance of our approach, by reconstructing spline curves and surfaces based on input images or point clouds.

研究の動機と目的

• 堅牢で高レベルの抽象化としてスプラインベースのパラメトリック表現を用いたジオメトリの再構成を動機づける。
• スプライン曲線の可変数と可変な制御点を扱うデータ駆動型フレームワークを開発する。
• 画像または点群からの押出しまたは回転の3D表面を教師なしで再構成することを拡張する。
• 手動初期化を回避し、入力モダリティを横断して動作する仕組みを提供する。

提案手法

• 曲線RNNと点RNNを、それぞれスプライン曲線と制御点を予測するために定義する。
• 制御点数が可変の複数の2Dスプライン曲線を再構成するために階層的RNNを導入する。
• マルチ曲線フィッティング中に画像特徴を局所化するためにアテンション機構を組み込む。
• 予測された曲線セットを順序付けられていない真の曲線と整列させるためにHungarianマッチングを使用し、MSEおよびクロスエントロピー項を含む結合損失。
• 点群間のChamfer距離を損失として用いる、押出しまたは回転の3D表面の教師なし再構成に拡張する。
• 画像にはVGGNet、点群にはPointNetを特徴抽出器として用い、それを全結合層に入力してスプラインパラメータを予測する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動モデルは、曲線の数や制御点の数が可変である場合でも、画像または点群からパラメトリックなスプライン曲線を正確に回復できるだろうか？
• RQ2 階層型再帰アーキテクチャは、最小限の初期化で堅牢な2Dスプライン再構成をどのように実現できるか？
• RQ3 画像または点群から教師なしで押出しまたは回転の3D表面を再構成することは可能か？
• RQ4 予測曲線と真の曲線との間に信頼できる対応を可能にする仕組み（例えば、アテンション、マッチング）は何か？

主な発見

• モデルは、Curve RNNとPoint RNNを用いた階層型RNN内で、可変数の制御点を持つ2Dスプライン曲線を再構成できる。
• このアプローチは、固定数または可変数の制御点を持つ複数のスプライン曲線をサポートし、アテンションと二部的マッチングスキームを組み込んで整列する。
• 教師なしで、点群間のChamfer距離を損失とする再構成経路で、押出しまたは回転の3D表面を再構成できる。
• 推論は高速で、単一画像でのテストは12 msと報告。
• システムは大規模な合成データセット（50万サンプル）で訓練され、一般化を評価するために実画像で評価。
• 損失は制御点位置誤差、曲線終端確率および点終端確率を組み合わせ、複数曲線の場合はマッチングベースの再構成損失を含む。