[論文レビュー] Continuous Surface Embeddings

Natalia Neverova, David Novotný+4 more|arXiv (Cornell University)|Nov 24, 2020

Computational Geometry and Mesh Generation被引用数 6

ひとこと要約

本稿では、2次元画像ピクセルから3次元メッシュ頂点埋め込みを予測する学習可能な画像ベースの表現であるContinuous Surface Embeddings (CSE)を提案する。チャートベースの回帰を連続的で変形に不変な埋め込み空間に置き換えることで、DensePoseを単純化し、シームを排除し、最小限のアノテーションで新しい動物カテゴリへのゼロショット転送を可能にし、人間および動物のポーズ推定ベンチマークで最先端の性能を達成する。

ABSTRACT

In this work, we focus on the task of learning and representing dense correspondences in deformable object categories. While this problem has been considered before, solutions so far have been rather ad-hoc for specific object types (i.e., humans), often with significant manual work involved. However, scaling the geometry understanding to all objects in nature requires more automated approaches that can also express correspondences between related, but geometrically different objects. To this end, we propose a new, learnable image-based representation of dense correspondences. Our model predicts, for each pixel in a 2D image, an embedding vector of the corresponding vertex in the object mesh, therefore establishing dense correspondences between image pixels and 3D object geometry. We demonstrate that the proposed approach performs on par or better than the state-of-the-art methods for dense pose estimation for humans, while being conceptually simpler. We also collect a new in-the-wild dataset of dense correspondences for animal classes and demonstrate that our framework scales naturally to the new deformable object categories.

研究の動機と目的

• 手動によるチャート化やカテゴリ別アノテーションなしに、2次元画像と3次元オブジェクトジオメトリの間でスケーラブルかつ自動的に密対応を学習する手法の開発。
• 3次元表面点の共有で普遍的な埋め込み空間を学習することで、可動物体カテゴリ間（例：人間から動物）の知識転送を可能にする。
• チャート分割とそれに伴うシームの必要性を排除することで、DensePoseフレームワークの簡素化。
• 標準的な3次元形状間の関数マップと埋め込みの整合性を用いて、低データ量かつマルチクラスの密対応学習を実現する。
• 最小限の微調整とアノテーションで、1つの普遍的ネットワークが多様な動物クラスに一般化できることの実証。

提案手法

• 標準形状 $S$ 上の各3次元メッシュ頂点 $X$ に対して、学習可能な位置埋め込み $e_X$ を導入し、変形に不変な表現を形成する。
• 深層ニューラルネットワークを訓練し、各画像ピクセルに対して埋め込みベクトル $e_X$ を直接予測する。中間のUV座標を経由せずに、ピクセルと3次元ジオメトリを直接結びつける。
• シグモイド関数に基づく対照的損失 $\mathcal{L}_\sigma$ を用いることで、低データ環境でのロバスト性を向上させ、より良い一般化を実現する。
• 関数マップを用いて異なる3次元モデル間（例：人間からチンパンジー）の埋め込みを整合化し、カテゴリ間の知識転送を可能にする。
• クラスに依存しないトレーニングとメッシュ固有の頂点埋め込み整合性を用いることで、マルチクラス性能を向上させる。
• 人間データでの事前学習と、最小限のアノテーションによる微調整を組み合わせ、新しい動物カテゴリへの転移を実現する。

実験結果

リサーチクエスチョン

• RQ1 最小限の監視で、1つの普遍的ディープネットワークが複数の可動物体カテゴリにわたる密対応を予測できるか？
• RQ2 チャートベースのUV回帰を連続的表面埋め込みに置き換えることで、性能向上と学習パイプラインの単純化が達成できるか？
• RQ3 関数マップの整合性を用いて、1つのカテゴリ（例：人間）で学習した埋め込みが、別のカテゴリ（例：動物）にどの程度転送可能か？
• RQ4 提案手法は、顕著に削減されたアノテーションコストで、密ポーズ推定において最先端の性能を達成できるか？
• RQ5 対照的損失 $\mathcal{L}_\sigma$ を用いることで、標準的な回帰損失と比較して低データ環境での一般化性能が向上するか？

主な発見

• CSEモデルはDensePose-COCOベンチマークで最先端の性能を達成し、SMPLメッシュではGPSmスコア35.0、チンパンジー・メッシュでは30.9を記録し、標準DensePoseを上回る。
• $\mathcal{L}_\sigma$ 損失を用いることで、低データ環境での一般化性能が顕著に向上し、LVISデータセットでは$\mathcal{L}$と比較して25.2の平均GPSmスコアを達成（$\mathcal{L}$は9.5）。
• 共有埋め込みとメッシュ整合性を用いたクラスに依存しないトレーニングにより、マルチクラス性能が向上し、LVISデータセットで平均35.0のGPSmスコアを達成。
• 予測器 $\Phi$ を人間データで事前学習し、頂点埋め込みを整合化することで、チンパンジー・データセットでの性能が10ポイント以上向上し、GPSmスコア37.2を達成。
• 本手法はLVISデータセットの10種類の動物カテゴリに成功裏に一般化し、元のアノテーションの10％のみで平均GPSm 35.0を達成し、強力な少データ転送性能を示した。
• 連続的埋め込み表現により、チャート間のシームが排除され、チャートベース手法と比較して滑らかで一貫性のある密対応が得られた。