[論文レビュー] Unsupervised Feature Learning for Point Cloud by Contrasting and Clustering With Graph Convolutional Neural Network

Ling Zhang, Zhigang Zhu|arXiv (Cornell University)|Apr 28, 2019

3D Shape Modeling and Analysis参考文献 37被引用数 5

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCNN）を用いた教師なし特徴学習フレームワークを提案する。このフレームワークは、アノテーションなしで意味的特徴を学習するために、部分同定とオブジェクトクラスタリングを交互に実行する。対照的特徴学習（ContrastNet）を訓練して、2つの部分が同じオブジェクトに属するかどうかを判定させ、その特徴を用いてクラスタリング（ClusterNet）を実行する。この手法により、ModelNet40では86.8%、ModelNet10では93.8%の精度を達成し、多数の先行研究を上回り、教師ありベースラインに近い性能を示した。

ABSTRACT

To alleviate the cost of collecting and annotating large-scale point cloud datasets, we propose an unsupervised learning approach to learn features from unlabeled point cloud "3D object" dataset by using part contrasting and object clustering with deep graph neural networks (GNNs). In the contrast learning step, all the samples in the 3D object dataset are cut into two parts and put into a "part" dataset. Then a contrast learning GNN (ContrastNet) is trained to verify whether two randomly sampled parts from the part dataset belong to the same object. In the cluster learning step, the trained ContrastNet is applied to all the samples in the original 3D object dataset to extract features, which are used to group the samples into clusters. Then another GNN for clustering learning (ClusterNet) is trained to predict the cluster ID of all the training samples. The contrasting learning forces the ContrastNet to learn high-level semantic features of objects but probably ignores low-level features, while the ClusterNet improves the quality of learned features by being trained to discover objects that probably belong to the same semantic categories by the use of cluster IDs. We have conducted extensive experiments to evaluate the proposed framework on point cloud classification tasks. The proposed unsupervised learning approach obtained comparable performance to the state-of-the-art unsupervised learning methods that used much more complicated network structures. The code of this work is publicly available via: https://github.com/lingzhang1/ContrastNet.

研究の動機と目的

• ディープラーニングにおける高価な人手によるアノテーション付き3次元ポイントクラウドデータへの依存を低減すること。
• ラベルなしポイントクラウドから意味的特徴を学習する教師なしディープラーニングフレームワークの開発。
• 対照学習とクラスタリングに基づく自己教師学習を組み合わせることで、特徴の品質を向上させること。
• 実用的展開を想定し、部分的または遮蔽された3次元データに対する耐性を評価すること。
• 自己教師学習の事前学習タスクのみを用いて、教師あり手法と競合可能な性能を達成すること。

提案手法

• 3次元オブジェクトを2つの部分に分割し、対照学習用の「部分」データセットを構築する。
• GCNNに基づくContrastNetを訓練し、ランダムに抽出された2つの部分が同じオブジェクトに属するかを分類する。
• 訓練済みのContrastNetが抽出した特徴を用いて、元のポイントクラウドオブジェクトを意味的グループにクラスタリングする。
• GCNNに基づくClusterNetを訓練し、対照的に学習された特徴を用いて各ポイントクラウドのクラスタIDを予測する。
• 2段階の自己教師学習パイプライン（まず対照学習、次にクラスタリングに基づく最適化）を採用する。
• 下流の分類タスクにおける特徴品質の評価に、線形SVMを用いる。

実験結果

リサーチクエスチョン

• RQ1 部分の対照とオブジェクトのクラスタリングは、教師なしポイントクラウド特徴学習の有効な事前学習タスクとして機能するか？
• RQ2 標準ベンチマークにおいて、本手法は最先端の教師なしおよび教師あり手法と比較してどのように性能を発揮するか？
• RQ3 学習された特徴は、現実世界のシナリオにおける部分的または遮蔽された3次元データにも一般化可能か？
• RQ4 対照的学習とクラスタリングの目的関数を組み合わせることで、単一目的の自己教師学習に比べて特徴品質が向上するか？
• RQ5 遮蔽や部分的ビューなどのデータ劣化に対して、特徴はどれほど頑健か？

主な発見

• 本手法は、教師なし事前学習と線形SVMを用いて、ModelNet40で86.8%、ModelNet10で93.8%の分類精度を達成した。
• 両ベンチマークにおいて、多数の既存の教師なし手法を上回り、FoldingNet（ModelNet40で88.4%）とLatent-GAN（ModelNet10で95.3%）に次いでわずかに劣る性能を示した。
• 部分的なセグメンテーションではClusterNetが82.4%の精度を達成し、視覚的ビューでは75.8%を示した。これにより、不完全なデータに対しても耐性があることが示された。
• 完全オブジェクトと部分的／視覚的ビューの間の性能差はそれぞれ6%および13%であり、ボリュメトリックな完全データがより記述的な特徴を提供することが示唆された。
• 教師なしのClusterNetはModelNet40で88.6%の精度を達成し、教師ありDGCNN（92.2%）と比較してわずかに3.6%低い結果であった。これは優れた特徴品質を示している。
• 競合する深層オートエンコーダーに基づく手法と比較して、本手法はより単純で訓練が容易であり、同等またはより優れた性能を達成した。