[論文レビュー] Point Cloud Pre-training by Mixing and Disentangling

Chao Sun, Zhedong Zheng+3 more|arXiv (Cornell University)|Sep 1, 2021

3D Shape Modeling and Analysis参考文献 62被引用数 7

ひとこと要約

本論文では、混合点群から元の点群を再構築するように学習する自己教師あり事前学習手法である「混合と分離（MD）」を提案する。シンプルなエンコーダ・デコーダアーキテクチャにインスタンス適応型デコーディングを組み合わせることで、限られたラベル付きデータのもとでも、訓練からスクラッチで学習するのと比べて顕著に優れた分類およびセグメンテーションタスク性能を達成し、高速な収束を実現する。

ABSTRACT

The annotation for large-scale point clouds is still time-consuming and unavailable for many real-world tasks. Point cloud pre-training is one potential solution for obtaining a scalable model for fast adaptation. Therefore, in this paper, we investigate a new self-supervised learning approach, called Mixing and Disentangling (MD), for point cloud pre-training. As the name implies, we explore how to separate the original point cloud from the mixed point cloud, and leverage this challenging task as a pretext optimization objective for model training. Considering the limited training data in the original dataset, which is much less than prevailing ImageNet, the mixing process can efficiently generate more high-quality samples. We build one baseline network to verify our intuition, which simply contains two modules, encoder and decoder. Given a mixed point cloud, the encoder is first pre-trained to extract the semantic embedding. Then an instance-adaptive decoder is harnessed to disentangle the point clouds according to the embedding. Albeit simple, the encoder is inherently able to capture the point cloud keypoints after training and can be fast adapted to downstream tasks including classification and segmentation by the pre-training and fine-tuning paradigm. Extensive experiments on two datasets show that the encoder + ours (MD) significantly surpasses that of the encoder trained from scratch and converges quickly. In ablation studies, we further study the effect of each component and discuss the advantages of the proposed self-supervised learning strategy. We hope this self-supervised learning attempt on point clouds can pave the way for reducing the deeply-learned model dependence on large-scale labeled data and saving a lot of annotation costs in the future.

研究の動機と目的

• 3Dディープラーニングにおける大規模なアノテート済み点群データセットの不足という課題に対処する。
• 人為的アノテーションに依存するコストを低減するため、自己教師あり事前学習アプローチを開発する。
• 新規の事前学習タスクを通じて、モデルの汎化性能と下流タスク（例：分類、セグメンテーション）の性能を向上させる。
• 点群の混合と分離を、強力な点群表現を学習するための事前学習タスクとしての有効性を検証する。
• MD事前学習を用いたシンプルなエンコーダ・デコーダフレームワークが、最小限のファインチューニングで迅速なファインチューニングと優れた性能を実現できることを示す。

提案手法

• 2つの点群を混合して合成入力を形成する自己教師あり事前学習タスクを提案する。
• 混合点群からの意味的埋め込みを抽出するエンコーダを訓練する。
• エンコーディングされた埋め込みを用いて、インスタンス適応型デコーダが混合入力から元の点群を分離する。
• 分離出力の再構築損失を用いて、エンコーダとデコーダをエンドツーエンドで訓練する。
• 特に大規模な点群アノテーションが不足している状況において、混合プロセスを活用して効率的なデータオーグメンテーションを実現する。
• ファインチューニングを用いて、ラベル付きデータを少量のみ使用して、事前学習済みエンコーダを下流タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 点群の混合と分離は、自己教師あり事前学習のための有効な事前学習タスクとして機能するか？
• RQ2 MD手法は、スクラッチからの学習と比較して、下流タスクにおける収束速度と性能でどのように優れているか？
• RQ3 提案手法が、キーポイントなどの意味的な点群特徴をどの程度正しく捉えられるか？
• RQ4 MDフレームワークの個々の構成要素（例：混合戦略、インスタンス適応型デコーディング）が性能向上にどの程度寄与しているか？
• RQ5 事前学習モデルは、最小限のファインチューニングで分類やセグメンテーションなど多様な3Dタスクにうまく一般化できるか？

主な発見

• MD事前学習手法は、分類およびセグメンテーションタスクにおいて、スクラッチからの学習を顕著に上回る性能を示した。
• 事前学習済みエンコーダは、ランダム初期化よりも収束が早く、下流タスクで高い精度を達成した。
• モデルは点群内のキーポイント構造を学習しており、効果的な特徴抽出が行われていることが示された。
• アブレーションスタディの結果、混合戦略とインスタンス適応型デコーディングの両方が性能向上に不可欠であることが確認された。
• 混合による高品質なオーグメントサンプルの生成を通じて、データ不足の問題を効果的に緩和できた。
• エンコーダは下流タスクに対して迅速にファインチューニング可能であり、優れた転移性とスケーラビリティを示した。