[論文レビュー] Distillation with Contrast is All You Need for Self-Supervised Point Cloud Representation Learning

Kexue Fu, Peng Gao+4 more|arXiv (Cornell University)|Feb 9, 2022

3D Shape Modeling and Analysis被引用数 13

ひとこと要約

本論文は、知識蒸留と対照的学習を組み合わせることで、グローバルな形状不変性とローカルからグローバルへの構造的関係を同時に捉える自己教師あり点群表現学習フレームワークを提案する。同じ入力から切り出されたグローバルおよびローカルな点群ビューに対して、モーメンタム更新された教師ネットワークを模倣するように学生ネットワークを訓練することで、線形分類および下流タスクで最先端の性能を達成し、可視化によりグローバルおよびローカルな構造的特徴への注目が確認された。

ABSTRACT

In this paper, we propose a simple and general framework for self-supervised point cloud representation learning. Human beings understand the 3D world by extracting two levels of information and establishing the relationship between them. One is the global shape of an object, and the other is the local structures of it. However, few existing studies in point cloud representation learning explored how to learn both global shapes and local-to-global relationships without a specified network architecture. Inspired by how human beings understand the world, we utilize knowledge distillation to learn both global shape information and the relationship between global shape and local structures. At the same time, we combine contrastive learning with knowledge distillation to make the teacher network be better updated. Our method achieves the state-of-the-art performance on linear classification and multiple other downstream tasks. Especially, we develop a variant of ViT for 3D point cloud feature extraction, which also achieves comparable results with existing backbones when combined with our framework, and visualization of the attention maps show that our model does understand the point cloud by combining the global shape information and multiple local structural information, which is consistent with the inspiration of our representation learning method. Our code will be released soon.

研究の動機と目的

• グローバルな形状とローカルからグローバルへの関係を捉える、アーキテクチャに依存しない自己教師あり点群表現学習フレームワークの開発。
• 従来の手法がローカル構造にのみ注目するか、ローカル部品とグローバル形状の関係をモデル化できないという限界を克服すること。
• グローバル・ローカル学習を統合することで、分類やセマンティックセグメンテーションなどの下流タスクにおける汎化性とロバスト性を向上させること。
• グローバル形状と複数のローカル構造を統合することで、人間が3次元オブジェクトを理解するのと同様の認識をモデルが学習できることを検証すること。
• 既存のバックボーンと競合する性能を示す3D-ViTの変種を導入し、解釈可能性のための注目マップ可視化を可能にすること。

提案手法

• 同じ入力からランダムクロッピングを用いてグローバルおよびローカルな点群ビューを生成する。
• 学生ネットワークはグローバルおよびローカルビューを処理するが、教師ネットワークはグローバルビューのみを処理する。
• 知識蒸留は、学生の予測と教師の出力の間の交差エントロピー損失を用いて、グローバル形状の知識を転送する。
• モーメンタム更新を用いた対照的学習により、教師ネットワークを動的に改善し、時間経過とともに表現品質を向上させる。
• 学生ネットワークはグローバルビューにおける教師の出力を模倣するように訓練される一方、ローカルビューはローカル構造への認識を促進するために用いられる。
• 3D-ViTバックボーンを提案し、CNNの代替として完全にトランスフォーマーに基づくアーキテクチャを提供し、解釈可能性のための注目マップ可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留と対照的学習を効果的に組み合わせることで、点群におけるグローバル形状不変性とローカルからグローバルへの構造的関係を学習できるか？
• RQ2 提案されたフレームワークは、ViTベースのモデルを含むさまざまなバックボーンアーキテクチャに一般化可能か？
• RQ3 モデルは人間の3次元オブジェクト認識と整合的になるように、重要なローカル構造（例：飛行機の左エンジン）に注目できるか？
• RQ4 STRMのような最先端の自己教師あり手法と比較して、本手法のロバスト性と特徴品質はどのように優れているか？
• RQ5 本フレームワークは特徴崩壊を緩和し、潜在空間に判別力があり均等に分布した特徴を保証できるか？

主な発見

• 提案手法はModelNet40で74.05%という最先端の線形分類精度を達成し、従来手法を上回った。
• Area 5ベンチマークでは78.24%の精度を達成し、STRLの77.28%を上回った。
• 本手法で事前学習したモデルは、点数が1024および2048の場合においても、すべての設定でSTRLと同等または上回るロバスト性を示した。
• 特徴解析の結果、本手法は深刻な特徴崩壊を回避しており、STRLが崩壊を示すのとは異なり滑らかな固有値分布を示した。
• 3D-ViTの注目マップの可視化により、異なるヘッドが異なるローカル構造（例：飛行機の左エンジン）に注目していることが確認され、マルチスケールのローカルおよびグローバル特徴学習が行われていることが示された。
• 3D-ViTバックボーンは、既存の最先端バックボーンと同等の性能を達成し、フレームワーク内での有効性を検証した。