[論文レビュー] Self-Supervised Deep Learning on Point Clouds by Reconstructing Space

Jonathan Sauder, Bjarne Sievers|arXiv (Cornell University)|Jan 24, 2019

3D Shape Modeling and Analysis参考文献 42被引用数 33

ひとこと要約

自己教師あり、アーキテクチャに依存しない点群の前学習法。ネットワークはランダムにずらされたボクセル化された部品を再構成することを学び、下流の分類とセグメンテーション性能とサンプル効率を向上させる。

ABSTRACT

Point clouds provide a flexible and natural representation usable in countless applications such as robotics or self-driving cars. Recently, deep neural networks operating on raw point cloud data have shown promising results on supervised learning tasks such as object classification and semantic segmentation. While massive point cloud datasets can be captured using modern scanning technology, manually labelling such large 3D point clouds for supervised learning tasks is a cumbersome process. This necessitates methods that can learn from unlabelled data to significantly reduce the number of annotated samples needed in supervised learning. We propose a self-supervised learning task for deep learning on raw point cloud data in which a neural network is trained to reconstruct point clouds whose parts have been randomly rearranged. While solving this task, representations that capture semantic properties of the point cloud are learned. Our method is agnostic of network architecture and outperforms current unsupervised learning approaches in downstream object classification tasks. We show experimentally, that pre-training with our method before supervised training improves the performance of state-of-the-art models and significantly improves sample efficiency.

研究の動機と目的

• ロボティクスや関連分野における3D点群タスクでラベル付きデータの必要性を減らす動機づけ。
• ラベルなしで全体的な点群表現を学習する自己教師付き事前学習タスクを提案。
• 前学習がアーキテクチャやタスクを超えて下流の性能とサンプル効率を改善することを示す。

提案手法

• 拡張された点群を k x k x k グリッドにボクセル化し、各点に対してボクセルIDをラベルとして割り当てる。
• ボクセルブロックをランダムに入れ替え、必要に応じて点を増幅/拡張して、各点に元のボクセルIDを予測させるようネットワークを訓練する。
• 自己教師付きタスクをアーキテクチャに依存しない点分割問題として定式化する。
• 学習された表現が PointNet、PointNet++, DGCNN、PointCNN を横断する監督付きタスクへ移 transfer することを示す。
• 生の点群上での再構成損失や明示的な類似度指標への依存を避ける。

実験結果

リサーチクエスチョン

• RQ1 生の点群に対する自己教師付き前学習は、下流のオブジェクト分類やセグメンテーションを改善する表現を学習できるか。
• RQ2 ボクセル単位の再組み立ては、3D形状の高レベルな意味構造の学習を強制するか。
• RQ3 このアプローチはアーキテクチャに依存せず、さまざまな点群ネットワークで有益か。
• RQ4 前学習はラベルデータの要件を減らし、サンプル効率を向上させるか。

主な発見

モデル	MN40	MN10
VConv-DAE	75.50%	80.50%
3D-GAN	83.30%	91.00%
Latent-GAN	85.70%	95.30%
FoldingNet	88.40%	94.40%
VIP-GAN	90.19%	92.18%
PointNet + Pre-Training (Ours)	87.31%	91.61%
DGCNN + Pre-Training (Ours)	90.64%	94.52%

• この手法は、ModelNet40/ModelNet10 における下流の物体分類を、線形SVMで評価した場合、従来の教師なしアプローチを上回る。
• 提案タスクを用いた前学習は、下流の監督付き訓練における最先端モデルの性能を向上させる。
• DGCNN 前学習は ModelNet40 で、ランダム初期化のベースラインより高い精度を達成。
• 前学習は ShapeNet Part でのセグメンテーション性能（mIoU）が改善され、点ごとの埋め込みも向上。
• ShapeNet で前学習を行った後、監督付き訓練を行うと S3DIS のセマンティックセグメンテーションの性能が向上し、特にラベル付きデータが限られている場合に顕著。
• 埋め込みは定性的に意味的構造と、物体部位やクラスに対応する分離可能なクラスターを示す。