[論文レビュー] PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding

Saining Xie, Jiatao Gu+4 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Neural Network Applications参考文献 85被引用数 95

ひとこと要約

本研究は、PointContrastを用いた大規模3Dシーンの非監視事前学習が、さまざまなデータセットにまたがる高レベルの3Dタスクへの転移を改善し、監視付き事前学習の性能に近づくことを示している。

ABSTRACT

Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (eg., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -- demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning.

研究の動機と目的

• 非監視事前学習を通じて、3D点群理解の転移学習を動機づけ、可能にする。
• 単一の統一バックボーン、ソースデータセット、プレテキストタスクを、複数の高レベルの下流タスクで評価する。
• 密な点レベル学習のための対照学習型事前学習損失を2つ提案し、比較する。
• 室内から室外および合成データから実データへと、ドメインを越えた一般化を実証する。

提案手法

• Pre-trainingとFine-tuningの統一バックボーンとしてSparse Residual U-Netを使用する。
• PointContrastを用いて、ScanNetベースの大規模ペアデータセット（870Kペア）で事前学習する。
• 点群の2つのビューを学習させ、対照的な目的関数で点レベルの表現を学習する。
• Hardest-Contrastive lossとPointInfoNCE lossの2つの損失を評価する。
• 複数のデータセットにまたがるセグメンテーションや検出を含む多様な下流タスクに微調整する。
• 非監督事前学習が監督付き事前学習と同等の利得を生み、データ量とともにスケールすることを示す。

実験結果

リサーチクエスチョン

• RQ1 3D点群の非監視事前学習は、ハイレベルなシーン理解タスクへ転移するか？
• RQ2 大規模な3Dシーンソースで訓練された統一バックボーンは、室内/室外および実データ/合成データのドメインを横断してどの程度一般化するか？
• RQ3 異なる対照的な事前学習損失は、転移性と安定性にどのような影響を与えるか？
• RQ4 3D表現において、タスク固有の注釈データよりも事前学習データを拡大することがより有益か？

主な発見

• PointContrastは、セグメンテーションと検出の6つの下流ベンチマークの転移を改善する。
• PointInfoNCEは、多くのタスクでHardest-Contrastiveを一般的には上回り、例としてセグメンテーションと検出の利得が挙げられる。
• PointContrastを用いたScanNetでの事前学習は、いくつかのベンチマークで最先端の結果をもたらし、室外および合成データへのドメイン横断一般化を示す。
• 非監督事前学習の利得は監督付き学習と同等であり、データ量を増やす方が細かな注釈よりも影響が大きい可能性を示唆する。
• PointContrast機能を用いたファインチューニングは、局所化とセグメンテーションの両方を改善し、局所化指標（例: mAP@0.5）でより大きな利得をもたらす。
• 統一アーキテクチャとソースデータセットを用いることで、本手法は室内外のシーン、実データと合成データの双方で改善を達成する。