[論文レビュー] StrobeNet: Category-Level Multiview Reconstruction of Articulated Objects

Ge Zhang, Or Litany+2 more|arXiv (Cornell University)|May 17, 2021

3D Shape Modeling and Analysis参考文献 56被引用数 7

ひとこと要約

StrobeNet は、アーティキュレーテッドオブジェクトのカテゴリレベル3次元再構成を、1枚または複数枚の未姿勢RGB画像から学習ベースで行う手法であり、アーティキュレーションの標準化を用いて多様なポーズを共通の標準空間に統一する。特徴豊富な標準点群、関節、パーツセグメンテーションを推定することで、対応なしのマルチビュー統合を可能にし、滑らかでアニメーション可能な暗黙的3次元再構成を生成する。この手法は、未観測のインスタンスや任意のポーズに対しても一般化可能である。

ABSTRACT

We present StrobeNet, a method for category-level 3D reconstruction of articulating objects from one or more unposed RGB images. Reconstructing general articulating object categories % has important applications, but is challenging since objects can have wide variation in shape, articulation, appearance and topology. We address this by building on the idea of category-level articulation canonicalization -- mapping observations to a canonical articulation which enables correspondence-free multiview aggregation. Our end-to-end trainable neural network estimates feature-enriched canonical 3D point clouds, articulation joints, and part segmentation from one or more unposed images of an object. These intermediate estimates are used to generate a final implicit 3D reconstruction.Our approach reconstructs objects even when they are observed in different articulations in images with large baselines, and animation of reconstructed shapes. Quantitative and qualitative evaluations on different object categories show that our method is able to achieve high reconstruction accuracy, especially as more views are added.

研究の動機と目的

• スパarsな未姿勢RGB画像から、以前に観測されていないアーティキュレーテッドオブジェクトの3次元形状を再構成する課題に対処すること。
• 視覚的変化やアーティキュレーションのばらつきを学習によるカテゴリレベルの事前知識で克服すること。
• 観測を共通のポーズ空間に標準化することで、アーティキュレーテッドオブジェクトにおける対応なしマルチビュー統合を可能にすること。
• カテゴリ固有のテンプレートを必要とせず、連続的かつアニメーション可能な暗黙的3次元再構成を生成すること。
• 推論時に任意のアーティキュレーションに再配置可能なオブジェクトの再構成と再ポーズ化を可能にすること。

提案手法

• 120,000枚以上のビューを含む大規模な合成データセット（SAPIEN および Shape2Motion）を活用し、カテゴリレベルの形状事前知識を学習するニューラルネットワークの訓練に用いる。
• アーティキュレーションの標準化を用いて、多様な入力ポーズを共通の3次元空間にマッピングし、対応マッチングなしで一貫したマルチビュー融合を可能にする。
• エンドツーエンドのニューラルネットワークを訓練し、未姿勢RGB画像から（1）特徴豊富な標準3次元点群、（2）関節の位置と方向、（3）パーツセグメンテーションを予測する。
• 複数のビューにわたる標準再構成の整合性を保つために一貫性損失を適用し、幾何的正確性を向上させる。
• 局所的な画像特徴を活用して、持ち上げられた3次元点を通じて外観の手がかりを伝搬させ、再構成の正確性を向上させる。
• 標準点群と関節予測を用いてニューラル暗黙関数ネットワークを駆動し、滑らかで連続的な3次元形状を生成する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、1枚または数枚の未姿勢RGB画像から、高品質でアニメーション可能なアーティキュレーテッドオブジェクトの3次元形状を再構成できるか？
• RQ2 アーティキュレーションの標準化は、ポーズが異なるアーティキュレーテッドオブジェクトにおける対応なしマルチビュー統合をどの程度効果的に可能にするか？
• RQ3 真の対応がない状況下で、関節予測とパーツセグメンテーションは、3次元再構成の正確性をどの程度向上させるか？
• RQ4 モデルはカテゴリの未観測インスタンスに一般化可能であり、推論時に任意のアーティキュレーションに再配置可能か？
• RQ5 マルチビュー再構成設定において、入力ビューの数が増加するに従って性能はどのように変化するか？

主な発見

• StrobeNet は、OccNet-F などの剛体マルチビュー統合ベースラインと比較して、チェンファーディスタンス（CD）およびオーバーラップインターセクション（IoU）の両面で顕著に優れており、ビュー数が増えるほどその差が顕著になる。
• 新たに作成された3つのアーティキュレーテッドカテゴリ（眼鏡、ラップトップ、オーブン）を含むデータセットにおいて、StrobeNet は平均CD 1.25、平均IoU 54.84 を達成し、高い再構成正確性を示した。
• アブレーションスタディの結果、一貫性損失と局所的特徴伝搬の両方が重要であることが確認された。両者を除去すると、CDは0.19〜0.75上昇し、IoUは3〜6ポイント低下した。
• 入力ビューの数が増えるにつれて再構成品質が単調に向上し、2ビューでの学習でも、より大きな入力セットへの一般化能力が顕著に示された。
• 本手法は、ポイントクラウドおよびメッシュの両方で、任意の構成に再ポーズ可能なアニメーション可能な3次元モデルを成功裏に生成した。
• 入力ポーズ再構成の誤差がやや高い（ポーズ不一致のため）ものの、標準再構成は微細なディテールを保持しており、小さなポーズ誤差に対してもロバストであることが示された。