[論文レビュー] Neural Shape Mating: Self-Supervised Object Assembly with Adversarial Shape Priors

Yunchun Chen, Haoda Li+3 more|arXiv (Cornell University)|May 30, 2022

Image Processing and 3D Reconstruction被引用数 4

ひとこと要約

本論文では、意味的情報やターゲット形状に依存せずに、点群のみを用いて2つの幾何的物体部品を正確に3次元的に適合させる自己教師あり手法であるNeural Shape Mating (NSM) を提案する。NSMは変圧器ベースのネットワークを用い、敵対的形状事前分布と暗黙的な形状再構成を組み合わせ、多様な物体カテゴリーや切断タイプにわたる20万点の幾何的マッチングデータセットにおいて、高い頑健性を示す。

ABSTRACT

Learning to autonomously assemble shapes is a crucial skill for many robotic applications. While the majority of existing part assembly methods focus on correctly posing semantic parts to recreate a whole object, we interpret assembly more literally: as mating geometric parts together to achieve a snug fit. By focusing on shape alignment rather than semantic cues, we can achieve across-category generalization. In this paper, we introduce a novel task, pairwise 3D geometric shape mating, and propose Neural Shape Mating (NSM) to tackle this problem. Given the point clouds of two object parts of an unknown category, NSM learns to reason about the fit of the two parts and predict a pair of 3D poses that tightly mate them together. We couple the training of NSM with an implicit shape reconstruction task to make NSM more robust to imperfect point cloud observations. To train NSM, we present a self-supervised data collection pipeline that generates pairwise shape mating data with ground truth by randomly cutting an object mesh into two parts, resulting in a dataset that consists of 200K shape mating pairs from numerous object meshes with diverse cut types. We train NSM on the collected dataset and compare it with several point cloud registration methods and one part assembly baseline. Extensive experimental results and ablation studies under various settings demonstrate the effectiveness of the proposed algorithm. Additional material is available at: https://neural-shape-mating.github.io/

研究の動機と目的

• 意味的ラベルやターゲット形状のガイダンスなしに、純粋に幾何的フィットネスに基づいて3次元物体部品を組み立てる課題に対処すること。
• 部品の意味的特徴に依存せず、局所的な幾何的相関に注目することで、カテゴリ間一般化を実現すること。
• 3次元メッシュをランダムに切断することで、現実的で多様な形状マッチングペアを生成する自己教師ありのデータ収集パイプラインを開発すること。
• ノイズや不完全な点群観測に対しても一般化可能な3次元ポーズ予測モデルを訓練すること。
• 今後の研究のためのベンチマークデータセットとして、11カテゴリにわたる20万組の幾何的形状マッチングペアを提供すること。

提案手法

• NSMは、2つの入力点群の局所的特徴間の非対称な幾何的相関に注目する変圧器ベースのエンコーダーを採用する。
• モデルは、タイトな幾何的フィットネスを達成するための6次元ポーズ（並進と回転）を予測し、ポーズ予測タスクとして定式化する。
• 実際のマッチング構成と生成された構成を区別するように訓練される敵対的ディスクラミネーターを導入し、妥当な形状事前分布を学習する。
• ノイズや不完全な点群に対する頑健性を向上させるために、別個の暗黙的形状再構成ヘッド（SDFネットワーク）を共同で訓練する。
• ShapeNet、Thingi10K、スキャン済みデータセットからの実際の3次元メッシュを、平面、正弦、放物線、正方形、パルス関数を用いてランダムに2つに切断する自己教師ありのデータ生成パイプラインを構築する。
• ポーズ損失、敵対的損失、SDF回帰損失の組み合わせを最適化し、ジェネレータとディスクラミネーターの交互更新により訓練を最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、意味的ラベルやターゲット形状なしに、点群のみを用いて2つの幾何的部品の正確な3次元マッチングポーズを予測できるか？
• RQ2 学習された形状事前分布を用いた敵対的訓練は、予測されたマッチング構成の現実性と妥当性を向上させるか？
• RQ3 暗黙的形状再構成を共同で学習させることで、ノイズや不完全な点群観測に対する頑健性はどの程度向上するか？
• RQ4 標準的な点群登録法や部品アセンブリベースラインと比較して、NSMは異なる物体カテゴリーや切断タイプにどの程度一般化できるか？
• RQ5 自己教師ありのデータ生成パイプラインは、汎用的な形状マッチングモデルの学習に適した多様で現実的な形状マッチングペアを生成できるか？

主な発見

• NSMは、多様な物体カテゴリにわたり、複数の点群登録手法および部品アセンブリベースラインを上回る正確なマッチングポーズ予測を達成する。
• 敵対的形状事前分布の導入により、予測されたマッチング構成の妥当性が顕著に向上し、定性的および定量的分析で裏付けられた。
• 暗黙的形状再構成との共同学習により、ノイズの多い点群に対する頑健性が向上し、高レベルのノイズ下でも性能向上が観察された。
• モデルは、固体、シェル、フィット感のある形状を含む、さまざまな物体カテゴリに効果的に一般化され、カテゴリ間適用性を示した。
• アブレーションスタディにより、各構成要素の有効性が確認された：変圧器アーキテクチャ、敵対的訓練、SDF再構成のいずれかを除いた場合、性能が低下した。
• 自己教師ありのデータ生成パイプラインは、11カテゴリからなる20万組の多様な形状マッチングペアを効果的に生成し、人為的ラベルなしに大規模かつ汎用的な学習を可能にした。