[論文レビュー] Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts

Ji Hou, Benjamin Graham+2 more|arXiv (Cornell University)|Dec 16, 2020

3D Surveying and Cultural Heritage参考文献 70被引用数 17

ひとこと要約

本論文では、点レベルの一致と空間的文脈を併用することで、3Dシーン理解におけるデータ効率を向上させる、3D自己教師付き事前学習手法「対照的シーンコンテキスト」を提案する。アンノテートされた点群で事前学習を行い、最小限のラベルで微調整することで、インスタンスセグメンテーションで完全ラベル付きデータの89％の性能を達成（ラベル付き点が0.1％のみ）し、アノテーションコストを顕著に削減するとともに、PointContrastなどの先行手法を上回る性能を発揮する。

ABSTRACT

The rapid progress in 3D scene understanding has come with growing demand for data; however, collecting and annotating 3D scenes (e.g. point clouds) are notoriously hard. For example, the number of scenes (e.g. indoor rooms) that can be accessed and scanned might be limited; even given sufficient data, acquiring 3D labels (e.g. instance masks) requires intensive human labor. In this paper, we explore data-efficient learning for 3D point cloud. As a first step towards this direction, we propose Contrastive Scene Contexts, a 3D pre-training method that makes use of both point-level correspondences and spatial contexts in a scene. Our method achieves state-of-the-art results on a suite of benchmarks where training data or labels are scarce. Our study reveals that exhaustive labelling of 3D point clouds might be unnecessary; and remarkably, on ScanNet, even using 0.1% of point labels, we still achieve 89% (instance segmentation) and 96% (semantic segmentation) of the baseline performance that uses full annotations.

研究の動機と目的

• 現実世界のシーン理解において、高コストかつ限られたアンノテート済み3D点群の課題に対処すること。
• 広範な人為的アノテーションデータに依存しない、データ効率の良い3D学習の探求。
• 限られた監視情報のもとで、インスタンスセグメンテーションやオブジェクト検出などの下流タスクにおける3Dモデルの転移性と性能の向上。
• 学習済み特徴のクラスタリングを活用した、積極的ラベリング（active labeling）を含む実用的なデータ収集戦略の実現。
• 文脈に配慮した自己教師付き事前学習を用いる場合、3Dアノテーションを徹底的に行う必要がないことを示すこと。

提案手法

• 3Dシーンにおける点レベルの一致と空間的文脈を同時に最適化する対照的学習フレームワークを提案する。
• ランダムクロッピングやポイントドロップなどのデータ拡張を用いて、対照的学習のためのポジティブおよびネガティブなビューを生成する。
• 局所的な近隣グラフを構築することで空間的文脈を統合し、それらをポジティブサンプル形成の一部として活用する。
• 共有重みを持つシアンズ型ネットワークアーキテクチャを採用し、点群特徴を符号化し、対照的損失を計算する。
• 事前学習済み特徴を用いて下流モデルの初期化を行い、最小限のラベル付きデータでの微調整を可能にする。
• 事前学習済み点特徴のクラスタリングにより、情報量が多く多様性のあるポイントを優先してアノテートする、積極的ラベリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照的学習に空間的文脈を統合することで、データ効率の良い3D表現学習が向上するか？
• RQ2 3Dインスタンスセグメンテーションおよびセマンティックセグメンテーションで競争力のある性能を達成するために、どの程度のラベル付きデータが必要か？
• RQ3 自己教師付き事前学習により、3D点群データセットにおける人為的アノテーションの徹底的必要性が低下するか？
• RQ4 提案手法は、ごみだらけの3Dシーンにおいて効果的な積極的学習戦略を可能にするか？
• RQ5 データが限られた状況下で、PointContrastなどの最先端手法と比較して、本手法の性能はどの程度か？

主な発見

• ScanNetでは、ラベル付き点が0.1％のみの状況で、インスタンスセグメンテーションのベースラインmAP@0.5性能の89％を達成した。
• セマンティックセグメンテーションでは、同じ0.1％のラベル予算で、完全ラベル付きデータの性能の96％を達成した。
• 限られたアノテーション（LA）設定下で、1シーンあたり200ポイントのラベルで、インスタンスセグメンテーションのmAP@0.5でPointContrastを5.4ポイント上回った。
• S3DISでは、セマンティックセグメンテーションで72.2％のmIoUを達成し、PointContrastで報告された教師あり事前学習の結果を上回った。
• 限られたシーン再構築（LR）設定下で、20％のシーンでの学習でも、提案手法の事前学習重みを用いた微調整により、mAP@0.5が16.3ポイント向上した。
• 事前学習済み特徴に基づく積極的ラベリングは、ごみだらけのシーンでより多くの異なるオブジェクトをカバーでき、サンプリング効率の向上を示した。