[論文レビュー] Unsupervised 3D Learning for Shape Analysis via Multiresolution Instance Discrimination

Peng‐Shuai Wang, Yuqi Yang+4 more|arXiv (Cornell University)|Aug 3, 2020

3D Shape Modeling and Analysis参考文献 67被引用数 6

ひとこと要約

本稿では、ラベルなし3次元点群から形状特徴と点特徴を同時に学習するための、マルチスケールインスタンス識別（MID）損失を用いた教師なし3次元形状解析手法を提案する。オクトリーに基づくアーキテクチャにHRNetを適応し、MID損失で訓練することで、形状分類、セグメンテーション、登録の各タスクで最先端の性能を達成した。特に、限られたラベル付きデータでの細分化PartNetセグメンテーションにおいて、教師あり手法を上回った。

ABSTRACT

Although unsupervised feature learning has demonstrated its advantages to reducing the workload of data labeling and network design in many fields, existing unsupervised 3D learning methods still cannot offer a generic network for various shape analysis tasks with competitive performance to supervised methods. In this paper, we propose an unsupervised method for learning a generic and efficient shape encoding network for different shape analysis tasks. The key idea of our method is to jointly encode and learn shape and point features from unlabeled 3D point clouds. For this purpose, we adapt HR-Net to octree-based convolutional neural networks for jointly encoding shape and point features with fused multiresolution subnetworks and design a simple-yet-efficient Multiresolution Instance Discrimination (MID) loss for jointly learning the shape and point features. Our network takes a 3D point cloud as input and output both shape and point features. After training, the network is concatenated with simple task-specific back-end layers and fine-tuned for different shape analysis tasks. We evaluate the efficacy and generality of our method and validate our network and loss design with a set of shape analysis tasks, including shape classification, semantic shape segmentation, as well as shape registration tasks. With simple back-ends, our network demonstrates the best performance among all unsupervised methods and achieves competitive performance to supervised methods, especially in tasks with a small labeled dataset. For fine-grained shape segmentation, our method even surpasses existing supervised methods by a large margin.

研究の動機と目的

• 複数の形状解析タスクに一般化可能な、教師なしの3次元形状符号号バックボーンを構築すること。
• 統一された学習目的を用いて、ラベルなし3次元点群から形状レベルと点レベルの特徴を同時に学習すること。
• タスク固有の教師ありネットワークの限界を克服し、最小限の微調整で転移学習を可能にすること。
• ラベル付きデータが少ない状況でも、教師ありベースラインを上回る性能を示す事前学習スキームを設計すること。
• インスタンス識別を用いた同時マルチスケール特徴学習が、3次元幾何形状に優れた表現をもたらすことを示すこと。

提案手法

• 3次元点群からの並列なマルチスケール特徴抽出を可能にする、オクトリーに基づく畳み込みニューラルネットワークにHRNetアーキテクチャを適応する。
• データオーグメンテーションを介して形状インスタンスと点インスタンスの両方の識別を同時に最適化するマルチスケールインスタンス識別（MID）損失を導入する。
• 回転、スケーリング、平行移動などのデータオーグメンテーションを用いて、形状レベルおよび点レベルの両方でポジティブペアを生成し、対照的学習を実施する。
• マルチスケールサブネット間の特徴統合を実施することで、表現品質とモデルのロバスト性を向上させる。
• バックボーンをShapeNetCore55でMID損失で訓練した後、下流タスクで単純なタスク固有のヘッドで微調整する。
• 局所的特徴の識別を向上させるために、K=100のパッチを用いたクラスタリングベースの対照的学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 教師なし事前学習による形状特徴と点特徴の同時学習が、多様な3次元形状解析タスクの性能向上に寄与するか？
• RQ2 スケール間の特徴統合を備えたマルチスケールアーキテクチャが、3次元点群の表現学習を向上させるか？
• RQ3 提案されたMID損失は、単一スケールまたは単一タスクの対照的損失と比較して、下流タスクの性能で優れているか？
• RQ4 限られたラベル付きデータを用いた教師なし事前学習が、下流タスクで教師あり微調整を上回るか？
• RQ5 データオーグメンテーションおよびクラスタリング戦略の選択が、学習された特徴の品質にどの程度影響を与えるか？

主な発見

• 提案されたMID-Netは、形状分類、セマンティックセグメンテーション、3次元登録の各タスクにおいて、すべての教師なし3次元学習手法の中で最先端の性能を達成した。
• PartNetデータセットでは、既存の教師あり手法を大きく上回り、わずかに教師なし事前学習のみで、細分化セグメンテーションにおいて60.8%のmIoUを達成した。
• 学習データの1%で微調整した場合でも、モデルは高い性能（分類タスクで61.8%の正確度）を維持し、訓練から再構築したモデルを上回った。
• アブレーションスタディの結果、HRNetにおける特徴統合層を削除すると、分類精度が最大2.1%低下し、マルチスケール統合の重要性が裏付けられた。
• MID損失は単一損失バージョンを上回った：形状損失のみ、または点損失のみを用いた場合、セグメンテーションのmIoUが1.2～2.0%低下し、特にデータ量が少ない環境で顕著だった。
• モデルの性能はオーグメンテーション戦略に対してロバストであり、完全なオーグメンテーションが最も良い結果をもたらした。また、パッチ数を100以上に増やしても利得は次第に小さくなった。