[論文レビュー] GarmentNets: Category-Level Pose Estimation for Garments via Canonical Space Shape Completion

Cheng Chi, Shuran Song|arXiv (Cornell University)|Apr 12, 2021

3D Shape Modeling and Analysis参考文献 37被引用数 4

ひとこと要約

GarmentNetsは、衣類のインスタンス間で共有される標準化された空間における3次元形状補完を定式化することで、衣類のカテゴリーレベルのポーズ推定手法を提案する。薄い、非水密構造を扱うために、新規のウィンディング数フィールド表現を用いる。形状補完において、占有グリッド比で最大32.2%の性能向上を達成し、未学習の現実世界およびシミュレートされた衣類へも効果的に一般化する。

ABSTRACT

This paper tackles the task of category-level pose estimation for garments. With a near infinite degree of freedom, a garment's full configuration (i.e., poses) is often described by the per-vertex 3D locations of its entire 3D surface. However, garments are also commonly subject to extreme cases of self-occlusion, especially when folded or crumpled, making it challenging to perceive their full 3D surface. To address these challenges, we propose GarmentNets, where the key idea is to formulate the deformable object pose estimation problem as a shape completion task in the canonical space. This canonical space is defined across garments instances within a category, therefore, specifies the shared category-level pose. By mapping the observed partial surface to the canonical space and completing it in this space, the output representation describes the garment's full configuration using a complete 3D mesh with the per-vertex canonical coordinate label. To properly handle the thin 3D structure presented on garments, we proposed a novel 3D shape representation using the generalized winding number field. Experiments demonstrate that GarmentNets is able to generalize to unseen garment instances and achieve significantly better performance compared to alternative approaches.

研究の動機と目的

• 衣類は無限に近い自由度を持ち、重度の自己遮蔽に悩まされるため、カテゴリーレベルのポーズ推定の課題に対処する。
• 完全な可視性、既知のインスタンスメッシュ、または物理的制約に依存する従来手法の限界を克服し、未学習の衣類への一般化を可能にする。
• 従来の表現（占有グリッドや符号付き距離関数など）では不適切な、薄く非水密な布地構造に適した、頑健な3次元形状表現を開発する。
• カテゴリ内で共有される標準化された空間を用いて、学習時に見未曾る衣類インスタンスへの一般化を可能にする。
• 部分的なRGB-D観測と学習済みの形状補完、暗黙のワープフィールドを組み合わせることで、タスク空間における正確なポーズ予測を実現し、実用的なロボット操作を支援する。

提案手法

• 標準化された人体ポーズを用いて、各衣類カテゴリに標準化された空間を定義し、多様な衣類インスタンス間でカテゴリーレベルの対応学習を可能にする。
• 部分的な3次元観測（例：RGB-D点群）を標準化空間にマッピングし、学習済みのニューラルネットワークを用いて完全で密な3次元メッシュの形状補完を実行する。
• 薄く連続した布地幾何構造を強力な表面勾配と滑らかな内部で捉える、新規の一般化されたウィンディング数フィールド（WNF）を3次元形状表現として導入する。
• 学習済みの暗黙のワープフィールドネットワークを用いて、完成した標準化メッシュを実世界のタスク空間に戻す。これにより、前段階の誤差を補正し、ポーズ精度を向上させる。
• 事前にアラインされた3次元メッシュと密な対応ラベルを備えたシミュレートデータを用いて、エンドツーエンドに学習することで、現実世界の未学習衣類への一般化を可能にする。
• 学習済みワープフィールドと物理シミュレーションを用いた逆マッピングを比較；学習済みフィールドはNOCS予測誤差を自己補正可能であり、物理ベース手法を上回る性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 標準化された空間表現が、多様で未学習の衣類インスタンスに対してカテゴリーレベルの一般化を可能にするか？
• RQ2 薄く非水密な3次元布地構造を、正確な形状補完とポーズ推定を支援する形で効果的に表現できるか？
• RQ3 タスク空間における直接予測や物理ベースのシミュレーションと比較して、標準化空間における形状補完が、より優れた一般化と性能をもたらすか？
• RQ4 学習済みの暗黙のワープフィールドが、完成した標準化メッシュを実世界タスク空間に戻す際に、物理シミュレーションを上回る性能を発揮するか？
• RQ5 シミュレートデータで学習したモデルが、折りたたまれて部分的にしか見えない衣類のRGB-D観測に対して、どの程度現実世界に一般化できるか？

主な発見

• 標準化メッシュにおけるチェンファ距離で、占有グリッド比で32.2%、TDF比で18.7%、TSDF比で26.7%の形状補完誤差の低減を達成した。
• 未学習の現実世界の衣類に対しても効果的に一般化され、iPhone 12 Pro Maxで撮影したRGB-Dデータからも、3次元幾何構造の補完とポーズ推定に成功した。
• 学習済みの暗黙のワープフィールドは、物理シミュレーション比で平均ポーズ誤差を68.5%低減し、パンツでは平均誤差1.41 cm（物理シミュレーション比1.64 cm）を達成した。
• ウィンディング数フィールド表現により、薄い布地構造の正確なモデリングが可能となり、TDFの過剰な平滑化や占有グリッドのボクセルサイズ制限を回避した。
• 未学習の衣類インスタンスにおいて、シャツでは平均チェンファ距離1.70 cm、パンツでは1.41 cmを達成し、強力なゼロショット一般化を示した。
• 表面の30–40%しか可視でない状況でも、標準化空間における完全な3次元メッシュ補完により、極端な自己遮蔽と部分観測を効果的に処理した。