[論文レビュー] GenSDF: Two-Stage Learning of Generalizable Signed Distance Functions

Gene Chou, Ilya Chugunov+1 more|arXiv (Cornell University)|Jun 6, 2022

Human Pose and Action Recognition被引用数 12

ひとこと要約

GenSDFは、ラベルなし点群から100種類以上の未学習3次元オブジェクトカテゴリに一般化できる二段階の半教師付きメタラーニングフレームワークを提案する。まず、ラベル付きデータにおけるエピソード的メタトレーニングにより形状の事前分布を学習し、次に別個のラベルなしデータに対して新規の自己教師付き符号予測損失を用いてそれを精緻化することで、微調整なしに強力なゼロショット再構成を実現する。

ABSTRACT

We investigate the generalization capabilities of neural signed distance functions (SDFs) for learning 3D object representations for unseen and unlabeled point clouds. Existing methods can fit SDFs to a handful of object classes and boast fine detail or fast inference speeds, but do not generalize well to unseen shapes. We introduce a two-stage semi-supervised meta-learning approach that transfers shape priors from labeled to unlabeled data to reconstruct unseen object categories. The first stage uses an episodic training scheme to simulate training on unlabeled data and meta-learns initial shape priors. The second stage then introduces unlabeled data with disjoint classes in a semi-supervised scheme to diversify these priors and achieve generalization. We assess our method on both synthetic data and real collected point clouds. Experimental results and analysis validate that our approach outperforms existing neural SDF methods and is capable of robust zero-shot inference on 100+ unseen classes. Code can be found at https://github.com/princeton-computational-imaging/gensdf.

研究の動機と目的

• 既存のニューラルSDF手法が真値の符号付き距離の監視を必要とし、未学習の形状では失敗するという一般化の欠如に対処する。
• ラベルなし点群と限定的なラベル付きデータのみを用いて、未学習の3次元オブジェクトカテゴリにおけるゼロショット推論を可能にする。
• ラベル付きデータとラベルなしデータが別個のカテゴリにまたがる状況において、形状の事前分布をラベル付きデータからラベルなしデータへ転移する半教師付きメタラーニングフレームワークを構築する。
• エピソード的メタラーニングと新規の自己教師付き符号予測損失を二段階トレーニングプロセスで組み合わせることで、一般化性能を向上させる。

提案手法

• 第一段階では、ラベル付きとラベルなしサブセットが別個であるように設定されたエピソード的トレーニングを用い、ラベル付きサブセットを真値SDF監視で、ラベルなしサブセットを自己教師付き損失で扱うことで、初期の形状事前分布をメタラーニングで学習する。
• 第二段階では、完全に別個のラベルなしデータセットを導入し、符号付き距離の正しい符号を予測する新規の自己教師付き符号予測損失を適用する。これは、従来の符号なし距離アプローチとは異なり、符号の予測を明示的に学習する。
• ラベル付きデータにおけるSDF再構成損失とラベルなしデータにおける符号に配慮した自己教師付き監視を組み合わせ、エンドツーエンドでモデルを訓練することで、学習された事前分布を精緻化し多様化する。
• モデルはマルチスケールのエンコーダ-デコーダアーキテクチャを用い、点群を処理し、クエリポイントにおけるSDF値を予測する。スケールやノイズに強いように、入力の正規化と再中心化を実施する。
• エピソード的メタラーニング方式により、第一段階で多様で未学習のオブジェクトカテゴリに一般化できる能力をモデルが学習する。
• 最終的なモデルは、合成データ（Acronym）と実世界データ（YCB）の両方において、再構成品質と一般化性能を測定するために、チェンバーディスタンス（CD）で評価される。

実験結果

リサーチクエスチョン

• RQ1 真値の微調整やアノテーションなしに、100種類以上の未学習3次元オブジェクトカテゴリにニューラルSDFモデルが一般化可能か？
• RQ2 別個のラベル付きとラベルなしサブセットを用いたエピソード的メタラーニングは、標準的な教師ありまたは教師なしトレーニングと比較して、一般化性能をどのように向上させるか？
• RQ3 第二段階で自己教師付き符号予測損失を導入することで、再構成品質と一般化性能にどのような影響を与えるか？
• RQ4 完全に教師ありまたは教師なしベースラインと比較して、二段階トレーニング方式は未学習クラスにおけるゼロショット性能でどのように優れるか？

主な発見

• GenSDFは、YCBデータセットの166未学習クラスにおいて、平均チェンバーディスタンス（CD）を0.407 × 10⁻⁴まで低下させ、既存のSDF手法のゼロショット一般化性能を上回った。
• 第一段階のメタラーニングのみでも、未学習クラスにおいてCDが0.515 × 10⁻⁴にまで低下し、追加のラベルなしデータなしで強力な事前分布学習が可能であることを示した。
• 完全な二段階手法では、未学習クラスのCDが0.407 × 10⁻⁴まで低下し、メタラーニングのみのベースラインと比較して22%の改善を達成した。
• ノイズのある入力に対してもロバストに一般化でき、YCBのピッチャー点群において、分散σ² < 0.05のガウスノイズに対してもCDが≤3.122 × 10⁻⁴を維持した。
• アブレーションスタディにより、メタラーニング段階が強固な基盤を提供していることが確認された。第二段階を初期化なしで学習した場合（Only semi）は、未学習クラスのCDが著しく高い0.889 × 10⁻⁴となった。
• GenSDFは、学習に20ラベルクラスしか使用しないにもかかわらず、完全に教師ありベースライン（例：Sup. 76 cls）を未学習クラスで上回った。これは、その一般化能力の高さを示している。