[論文レビュー] Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding

Guofeng Mei, Cristiano Saltori+5 more|arXiv (Cornell University)|Oct 6, 2022

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本稿では、最適輸送に基づくソフトクラスタリングを用いて幾何的・特徴空間の一貫性を強制し、偽ラベルを生成するデータ拡張フリーな非教師あり3次元点群表現学習手法SoftCluを提案する。ModelNet40、ShapeNet、S3DISの各ベンチマークで最先端手法を上回り、PointNetを用いたModelNet40では93.5%の精度、DGCNNを用いたS3DISでは59.2%のmIoUを達成する。

ABSTRACT

Unsupervised learning on 3D point clouds has undergone a rapid evolution, especially thanks to data augmentation-based contrastive methods. However, data augmentation is not ideal as it requires a careful selection of the type of augmentations to perform, which in turn can affect the geometric and semantic information learned by the network during self-training. To overcome this issue, we propose an augmentation-free unsupervised approach for point clouds to learn transferable point-level features via soft clustering, named SoftClu. SoftClu assumes that the points belonging to a cluster should be close to each other in both geometric and feature spaces. This differs from typical contrastive learning, which builds similar representations for a whole point cloud and its augmented versions. We exploit the affiliation of points to their clusters as a proxy to enable self-training through a pseudo-label prediction task. Under the constraint that these pseudo-labels induce the equipartition of the point cloud, we cast SoftClu as an optimal transport problem. We formulate an unsupervised loss to minimize the standard cross-entropy between pseudo-labels and predicted labels. Experiments on downstream applications, such as 3D object classification, part segmentation, and semantic segmentation, show the effectiveness of our framework in outperforming state-of-the-art techniques.

研究の動機と目的

• データ拡張に依存しない非教師あり3次元点群表現学習を実現し、意味の歪みや手動チューニングの必要性を回避すること。
• 人為的ラベルなしで、特徴空間および幾何空間におけるクラスタ構造を活用して転移可能なポイントレベル特徴を学習すること。
• データ拡張の選択に敏感で不安定な対照学習の欠陥を回避する自己教師付きフレームワークを構築すること。
• 分類、パーツセグメンテーション、セマンティックセグメンテーションなどの3次元理解タスクにおける下流性能を向上させること。
• 3次元点群に対して汎用的かつアーキテクチャに依存しない事前学習手法を提供すること。

提案手法

• SoftCluは自己教師付き事前学習を最適輸送問題として定式化し、ポイントにソフトな偽ラベルを割り当て、バランスの取れたクラスタ分割を保証する。
• 同じクラスタに属するポイントが幾何空間および特徴空間の両方で近接するように制約を課し、幾何と特徴の共同プロトタイプを用いる。
• ポイント特徴のクラスタリングによる偽ラベル生成と、これらの偽ラベルに対する交差エントロピー損失を用いたバックボーンの訓練を交互に繰り返す。
• 主なイノベーションは、最適輸送を用いてクラスタ間でポイント群を等分割する制約付き最適化フレームワークの導入である。
• 本手法はバックボーンアーキテクチャに依存せず、PointNetやDGCNNなどの任意の点群エンコーダーと組み合わせて利用可能である。
• 明示的なデータ拡張を必要とせず、エンドツーエンドの学習が可能な微分可能クラスタリング機構を用いる。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に依存せずに最先端の3次元点群表現学習を達成できるか？
• RQ2 幾何的・特徴的整合性のみを用いて、非教師ありでポイントレベル特徴を効果的に学習できるか？
• RQ3 幾何と特徴プロトタイプを組み合わせることで、クラスタリング品質および下流性能にどのような影響を与えるか？
• RQ4 本手法はクラスタ数に対してどれほど感度を示すか？最適な分割は何か？
• RQ5 ソフトクラスタリングに基づく偽ラベル化スキームは、転送性とロバスト性において対照学習を上回れるか？

主な発見

• PointNetを用いたModelNet40では93.5%の精度を達成し、OcCo（92.0%）とJigsaw3D（90.1%）を上回る。
• DGCNNを用いた場合、ModelNet10では94.8%、ModelNet40では94.8%の精度を達成し、すべてのベースラインを上回る。
• S3DISではDGCNNを用いて85.4%のOAと59.2%のmIoUを達成し、CrossPoint（84.7% OA、58.4% mIoU）とOcCo（84.6% OA、58.0% mIoU）を上回る。
• SR-UNetを用いたセマンティックセグメンテーションでは、73.4%のmIoUと79.1%のmAccを達成し、PointContrast（70.3% mIoU）とContrastiveScene（72.2% mIoU）を上回る。
• アブレーションスタディの結果、幾何と特徴プロトタイプの両方を用いることで最高の性能が得られ、ModelNet40では64クラスタが最適であると判明した。
• V100 GPUでは1イテレーションあたりわずか0.014msのオーバーヘッドしかかからず、計算コストは最小限に抑えられている。