[論文レビュー] Learning Shape Abstractions by Assembling Volumetric Primitives

Shubham Tulsiani, Hao Su+3 more|arXiv (Cornell University)|Dec 1, 2016

3D Shape Modeling and Analysis被引用数 10

ひとこと要約

本論文は、ボクセルメッシュとしての3次元形状を剛体変換を施した直方体（ボリュームプリミティブ）の組み合わせによって再構成する、教師なしのディープラーニングフレームワークを提案する。3次元形状のデータセット上で訓練することで、一貫性があり解釈可能な部品ベースの抽象化を学習し、一貫性のあるパース、形状類似度測定、画像ベースの抽象化、形状操作が可能になる。これは、3次元形状コレクションにおける構造的事前知識のデータ駆動的発見を示している。

ABSTRACT

We present a learning framework for abstracting complex shapes by learning to assemble objects using 3D volumetric primitives. In addition to generating simple and geometrically interpretable explanations of 3D objects, our framework also allows us to automatically discover and exploit consistent structure in the data. We demonstrate that using our method allows predicting shape representations which can be leveraged for obtaining a consistent parsing across the instances of a shape collection and constructing an interpretable shape similarity measure. We also examine applications for image-based prediction as well as shape manipulation.

研究の動機と目的

• 手作業で作成された事前知識の代わりに、データ駆動的アプローチを用いて一貫性があり解釈可能な3次元形状抽象化を発見すること。
• 共通するプリミティブ構成を学習することで、形状カテゴリ全体にわたる部品のパースを一貫して行えるようにすること。
• 生の幾何学的形状ではなく、プリミティブのパラメータに基づいて解釈可能な形状類似度測定を構築すること。
• ボリュームベースの予測を知識蒸留によって効率化し、2次元画像からプリミティブ配置を予測するCNNを学習することで、画像ベースの形状抽象化を可能にすること。
• 各プリミティブの局所座標系を用いて変形を適用し、メッシュ頂点に変換を伝搬させることで、形状の変形を可能にすること。

提案手法

• 3次元形状のボクセル占有グリッドから、剛体変換を施した直方体（プリミティブ）の集合を予測するための深層畳み込みニューラルネットワーク（CNN）を訓練する。
• 全形状データセット全体でプリミティブのパラメータ（位置、方向、スケール）を同時に推定するために、微分可能なレンダリングと最適化プロセスを用いる。
• メッシュ頂点を3次元空間における最も近いプリミティブにマッピングする微分可能なアサインメントモジュールを用いて、プリミティブの割り当てを学習する。
• 類似した形状間で一貫したプリミティブの使用を促進し、構造的整合性を高めるために、コントラスト型損失を用いる。
• ボリュームベースのモデルを模倣するように、2次元画像入力での推論を可能にするために、知識蒸留を用いて画像ベースの予測ヘッドを訓練する。
• 各プリミティブのフレーム内での局所座標を用いて、プリミティブのパラメータを変形し、メッシュ頂点を再投影することで、形状の変形を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師なしのボリュームプリミティブのみを用いて、人為的な部分ラベルなしに一貫性があり解釈可能な3次元形状抽象化をディープラーニングモデルが発見できるか？
• RQ2 学習されたプリミティブベースの表現が、形状カテゴリ全体にわたる部品のパースを一貫してサポートできるか？
• RQ3 従来の幾何的メトリクスよりも、プリミティブ表現がより解釈可能で制御可能な形状類似度測定を可能にするか？
• RQ4 モデルが教師なしで、2次元画像入力に一般化し、2次元から3次元への抽象化を可能にするか？
• RQ5 プリミティブ抽象化が、意味的で直感的な形状操作を可能にするか？

主な発見

• モデルは、直方体のみを用いて複雑な3次元形状を再構成することに成功し、いすや動物などの形状カテゴリにわたって一貫した部品レベルのパースを実現した。
• 学習されたプリミティブベースの埋め込みのt-SNE可視化では、サブカテゴリ（例：ソファー、アームチェア）ごとに自然なクラスタリングが観察され、ボクセルIoUベースのメトリクスよりも意味的類似度をよりよく捉えている。
• 特定のプリミティブ（例：いすの座席や背もたれ）に距離メトリクスを集中させることで、アームレストの有無に関係なくいすをグループ化するなど、アプリケーション固有の類似度を反映した埋め込みが得られた。
• 特定の部品（例：背もたれの傾き）の方向差異のみを測定した場合、埋め込み空間に1次元の多様体が学習されることで、解釈可能性と制御可能性が裏付けられた。
• 知識蒸留を用いた画像ベースの抽象化により、1枚の2次元画像からも正確にプリミティブ配置を予測できるようになり、定性的な結果で示された。
• プリミティブの変形による形状操作により、構造に配慮した妥当なメッシュ変形が得られ、局所座標をプリミティブフレームにマッピングすることで滑らかな変換伝搬が実現した。