[論文レビュー] Meta-Learning 3D Shape Segmentation Functions

Yu Hao, Huang, Hao+2 more|arXiv (Cornell University)|Oct 8, 2021

3D Shape Modeling and Analysis参考文献 40被引用数 4

ひとこと要約

本稿では、3D形状分類関数空間における事前分布を学習することで、最小限または全くラベルなしのデータで3D形状分類モデルの高速適応を可能にするメタラーニングフレームワーク、Meta-3DSegを提案する。変分エンコーダを用いて分類MLPのタスク固有の初期化を生成し、教師なしで学習しているにもかかわらずShapeNet上での最先端の非教師あり部品分類性能を達成している。

ABSTRACT

Learning robust 3D shape segmentation functions with deep neural networks has emerged as a powerful paradigm, offering promising performance in producing a consistent part segmentation of each 3D shape. Generalizing across 3D shape segmentation functions requires robust learning of priors over the respective function space and enables consistent part segmentation of shapes in presence of significant 3D structure variations. Existing generalization methods rely on extensive training of 3D shape segmentation functions on large-scale labeled datasets. In this paper, we proposed to formalize the learning of a 3D shape segmentation function space as a meta-learning problem, aiming to predict a 3D segmentation model that can be quickly adapted to new shapes with no or limited training data. More specifically, we define each task as unsupervised learning of shape-conditioned 3D segmentation function which takes as input points in 3D space and predicts the part-segment labels. The 3D segmentation function is trained by a self-supervised 3D shape reconstruction loss without the need for part labels. Also, we introduce an auxiliary deep neural network as a meta-learner which takes as input a 3D shape and predicts the prior over the respective 3D segmentation function space. We show in experiments that our meta-learning approach, denoted as Meta-3DSeg, leads to improvements on unsupervised 3D shape segmentation over the conventional designs of deep neural networks for 3D shape segmentation functions.

研究の動機と目的

• 限られたまたはラベルなしのデータで多様な形状に一般化する3D形状分類の課題に対処すること。
• 3D形状分類をデータ分布ではなく関数空間の上に学習された事前分布を用いるメタラーニング問題として形式化すること。
• 新しい形状に数ステップの勾配更新のみで分類モデルの迅速な適応を可能にすること。
• 変分エンコーダを用いて分類関数の分布を学習することで、非教師あり3D部品分類を向上させること。
• 構造的変動が著しい形状間で一貫性があり正確な部品分類を達成すること。

提案手法

• 各タスクを1つの3D形状の固有の分類関数を学習することとして、3D形状分類をメタラーニング問題として形式化する。
• 部品レベルのラベルを必要とせず、自己教師あり3D形状再構成損失を用いて3D分類学習者を訓練する。
• 形状表現を3D分類タスクの分布へマップする変分オートエンコーダ（VAE）から構成される3D分類メタラーナーを導入する。
• VAEを用いてタスク固有の事前分布をサンプリングし、分類MLPのパラメータ初期化をガイドする。
• 新しい形状における少数ショット勾配更新を通じて、分類学習者の最適なネットワーク重みを予測するようにメタラーナーを訓練する。
• 形状エンコーダと条件付きMLPを組み合わせ、形状に依存する分類関数を表現する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、ラベルが最小限のデータで3D形状分類に効果的に適用可能か？
• RQ2 3D分類関数空間における事前分布を学習することで、構造的変動が著しい多様な形状間での一般化が向上するか？
• RQ3 重み初期化パラメータを予測するメタラーナーは、大規模なラベル付きデータセットで標準的に訓練されたものと比較して、非教師あり設定で優れた性能を示すか？
• RQ4 部品レベルのアノテーションなしで、自己教師あり再構成損失が分類関数を効果的に訓練できるか？
• RQ5 タスク分布をモデリングするための変分エンコーダを用いることで、標準的な初期化戦略と比較して一般化性能が向上するか？

主な発見

• Meta-3DSegは、ShapeNetデータセット上での非教師あり3D部品分類性能において、低ショット設定下で完全に教師ありの手法を上回る最先端の性能を達成した。
• すべてのカテゴリで完全に非教師ありで学習されたモデルでさえ、すべてのラベル付きデータで訓練されたPointNetの性能に近い結果を示し、強力な一般化能力を示した。
• VAEベースのメタラーナーを用いることで、標準的な重み初期化よりも優れた性能を達成し、weight-setting-Cはweight-setting-Bよりも優れた結果を示した。
• 定性的な結果から、Meta-3DSegは、飛行機のような複雑な物体を含む多様な形状において、より正確で一貫性のある部品固有のラベル予測を生成していることがわかった。
• カテゴリごとの微調整なしにカテゴリ間で効果的に一般化しており、BAE-NETのようなカテゴリ特化モデルとは対照的であった。
• アブレーションスタディにより、メタラーニングによる初期化が、特にデータが少ない状況下で標準的な訓練法と比較して顕著に分類性能を向上させることを確認した。