[論文レビュー] Unsupervised Point Cloud Pre-Training via Occlusion Completion

Hanchen Wang, Qi Liu+3 more|arXiv (Cornell University)|Oct 2, 2020

3D Shape Modeling and Analysis参考文献 57被引用数 16

ひとこと要約

本稿では、合成カメラビューを用いて遮蔽された点群をマスクし、エンコーダ・デコーダモデルで再構築するように学習する、非教師あり事前学習手法Occlusion Completion (OcCo) を提案する。1つのデータセット（ModelNet40）で事前学習することで、物体分類、パーツセグメンテーション、セマンティックセグメンテーションといった多様な下流タスクにおいて、精度、サンプル効率、特徴品質の面で先行する自己教師あり手法を上回る性能を発揮する。

ABSTRACT

We describe a simple pre-training approach for point clouds. It works in three steps: 1. Mask all points occluded in a camera view; 2. Learn an encoder-decoder model to reconstruct the occluded points; 3. Use the encoder weights as initialisation for downstream point cloud tasks. We find that even when we construct a single pre-training dataset (from ModelNet40), this pre-training method improves accuracy across different datasets and encoders, on a wide range of downstream tasks. Specifically, we show that our method outperforms previous pre-training methods in object classification, and both part-based and semantic segmentation tasks. We study the pre-trained features and find that they lead to wide downstream minima, have high transformation invariance, and have activations that are highly correlated with part labels. Code and data are available at: https://github.com/hansen7/OcCo

研究の動機と目的

• 大規模なアノテーションなし点群リポジトリを活用して、ラベルなし3次元点群データの不足を補う非教師あり事前学習手法の開発。
• 置換や幾何的不変性を目的関数に依存する既存の自己教師あり手法の限界を克服し、現実世界の点群構造にうまく一般化できない問題を解決。
• 遮蔽と補完を通じて空間的・意味的理解に根ざした事前学習目的を設計し、現実の知覚課題を模倣。
• 1つのオブジェクトレベルのデータセット（ModelNet40）で事前学習しても、多様な下流タスクおよびデータセットに優れた一般化性能を示すことを実証。
• 不変性、クラスタリング、概念検出解析を通じて、学習された表現の質を調査し、意味的・構造的理解の妥当性を検証。

提案手法

• 各点群に対してランダムに視点をサンプリングし、その視点から見えない点群をマスクすることで、遮蔽された点群を生成。
• 可視点群を入力として、マスクされた（遮蔽された）点群を再構築するようにエンコーダ・デコーダアーキテクチャを学習し、エンコーダが文脈表現を学習する。
• オブジェクト分類、パーツセグメンテーション、セマンティックセグメンテーションなどの下流タスクに、事前学習済みエンコーダの重みを初期値として適用。
• すべての学習データに同一の遮蔽手順を適用し、アノテーションを必要とせず、事前学習データセット（ModelNet40）全体で一貫したマスキングを実現。
• 標準的なディープラーニングモデル（例：PointNet、PointNet++）をエンコーダおよびデコーダとして利用し、既存アーキテクチャとの互換性を確保。
• 下流データセットで事前学習時に見なかったデータセットに対して微調整することで、一般化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 遮蔽補完に基づく非教師あり事前学習手法は、下流タスクの性能向上に寄与する汎用的な点群表現を学習できるか？
• RQ2 1つのオブジェクトレベルのデータセット（ModelNet40）で事前学習したモデルは、点群分布が異なる他のデータセットやタスクに対しても効果的に転移可能か？
• RQ3 OcCoで学習された特徴は、回転、平行移動、ジャッタリングなどの変換に対してどれほど不変性を示すか？
• RQ4 微調整や教師信号なしで、事前学習モデルは意味的コンセプト（例：いすの脚、飛行機の翼）をどの程度検出できるか？
• RQ5 OcCo事前学習が、微調整時の損失関数の形状および最適化ダイナミクスに与える影響は何か？

主な発見

• OcCoは、複数のデータセットおよびバックボーンネットワークにおいて、Jigsaw や cTree といった先行自己教師あり手法を上回る性能を、物体分類、パーツベースセグメンテーション、セマンティックセグメンテーションの各タスクで示した。
• 少サンプル学習において顕著な改善を達成し、ランダムまたは教師あり事前学習のベースラインに比べて高いサンプル効率を示した。
• OcCoで事前学習された特徴は、微調整後により広い局所的最小値を示し、最適化の摂動に対してより優れた一般化性能とロバストネスを示している。
• モデルは変換不変特徴を学習しており、ジャッタリング、回転、平行移動の下でのクラスタリング品質が、手作業で設計された特徴量（VFH や M2DP）を大きく上回った。
• ネットワークディスsection解析の結果、OcCoはJigsawよりも多くの意味的コンセプト（mIoU > 0.5）を検出しており、可視化された特徴マスクは正例ラベルとよく一致した。
• オブジェクト埋め込みのt-SNE可視化から、異なるオブジェクトカテゴリが明確に分離されたクラスタを形成しており、OcCoが判別力があり意味的に意味のある表現を学習していることが示された。