[論文レビュー] Self-Supervised Pretraining of 3D Features on any Point-Cloud

Zaiwei Zhang, Rohit Girdhar+2 more|arXiv (Cornell University)|Jan 7, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、3D登録や対応関係を必要とせずに、ラベルなし単一または複数ビューの深度マップを用いて、3D点群およびボクセルベースのモデルの自己教師付き事前学習手法であるDepthContrastを提案する。複数の入力形式（点群とボクセル）を共同で学習し、対照的学習を用いることで、9つの3D認識ベンチマークで最先端の性能を達成し、ScanNet検出で69.0%のmAP、SUNRGBDで63.5%を記録。教師あり事前学習を上回り、ラベル効率性も優れている。

ABSTRACT

Pretraining on large labeled datasets is a prerequisite to achieve good performance in many computer vision tasks like 2D object recognition, video classification etc. However, pretraining is not widely used for 3D recognition tasks where state-of-the-art methods train models from scratch. A primary reason is the lack of large annotated datasets because 3D data is both difficult to acquire and time consuming to label. We present a simple self-supervised pertaining method that can work with any 3D data - single or multiview, indoor or outdoor, acquired by varied sensors, without 3D registration. We pretrain standard point cloud and voxel based model architectures, and show that joint pretraining further improves performance. We evaluate our models on 9 benchmarks for object detection, semantic segmentation, and object classification, where they achieve state-of-the-art results and can outperform supervised pretraining. We set a new state-of-the-art for object detection on ScanNet (69.0% mAP) and SUNRGBD (63.5% mAP). Our pretrained models are label efficient and improve performance for classes with few examples.

研究の動機と目的

• ラベル付き大規模3Dデータセットの不足を補うために、容易に入手可能な単一ビュー深度マップを用いた自己教師付き事前学習を可能にすること。
• 3D登録や対応関係を必要とせず、屋内・屋外、単一・複数ビュー、さまざまなセンサーに対応する多様な3Dデータタイプをカバーする手法の開発。
• 対照的学習を用いて、点群やボクセルなど複数の入力形式を共同で事前学習することで、3D表現学習を向上させること。
• 自己教師付き事前学習が教師あり事前学習を上回り、特に少数ラベル条件下でも3D認識タスクの性能を顕著に向上させられることを示すこと。

提案手法

• 各深度マップを一意のインスタンスとみなす対照的学習フレームワークを採用し、同じ深度マップの異なる増幅ビューを区別するようにモデルを学習する。
• 入力形式に特化したエンコーダー（例：点群にはPointNet、ボクセルにはSpConv-UNet）を用い、同じ入力を異なる形式で表現した際の空間特徴を抽出する。
• グローバル特徴はグローバル最大プーリングと2層のMLPを用いて得られ、正例対と負例対の間で対照的損失を計算するのに使用される。
• 同じ入力表現における内部形式および異なった形式間の対照的損失を併用して、異なる入力表現間の一貫性を促進する。
• 点群やボクセルへの変換の前段階で、深度マップにデータ増強を適用し、特にランダムキューブドクロッピングやカラーのジャイタリングといった戦略を用いる。
• センサー種別やシーン種別に依存しないアプローチであり、屋内RGB-Dスキャン、屋外LiDAR、単一ビュー深度動画など多様なデータを用いた事前学習が可能。

実験結果

リサーチクエスチョン

• RQ1 3D登録や複数ビューの対応関係を必要とせず、ラベルなし単一ビュー深度マップを用いた自己教師付き事前学習が、3D表現学習を向上させられるか。
• RQ2 点群やボクセルなど複数の入力形式を共同で事前学習することで、単一形式での学習よりも一般化性能が向上するか。
• RQ3 本手法が、屋内・屋外シーン、およびRGB-DやLiDARなどさまざまなセンサーを含む多様な3Dデータタイプに一般化可能か。
• RQ4 自己教師付き事前学習の性能が、教師あり事前学習や学習からゼロから開始する場合と比較して、特に少数ラベル環境下でどうなるか。

主な発見

• DepthContrastは、ScanNet 3D物体検出ベンチマークで69.0%のmAPという、新たな最先端性能を達成。
• SUNRGBD検出ベンチマークでも63.5%のmAPという新たな最先端性能を記録し、従来手法および教師あり事前学習を上回った。
• KITTIデータセットでは、ラベル付きデータの5%での微調整でも20%の性能向上を達成し、優れたラベル効率性を示した。
• 単一ビュー深度マップ（例：ScanNet-vid や Redwood-vid）を用いた事前学習が、複数ビューで登録済み3Dシーン（例：ScanNet）を用いた学習と同等の性能を達成した。これは、入力前処理の影響に強く、ロバストであることを示している。
• 点群とボクセル表現の両方を共同で事前学習することで、単一形式での学習よりも優れた下流タスク性能が得られ、多様な形式での学習の重要性が浮き彫りになった。
• Waymoデータセットを用いた事前学習により、屋外LiDARデータにも一般化可能であることが示され、KITTIの自転車検出タスクで強力な性能を発揮した。