[論文レビュー] Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis

Yan Xu, Heshen Zhan+5 more|arXiv (Cornell University)|Oct 9, 2022

3D Surveying and Cultural Heritage被引用数 22

ひとこと要約

PointCMTは、トレーニング中に画像の priors を点群モデルへ蒸馏する教師-生徒のクロスモーダル訓練フレームワークを導入し、アーキテクチャを変更することなく点だけの形状解析を向上させる。ModelNet40とScanObjectNNで最先端の性能を達成。

ABSTRACT

Although recent point cloud analysis achieves impressive progress, the paradigm of representation learning from a single modality gradually meets its bottleneck. In this work, we take a step towards more discriminative 3D point cloud representation by fully taking advantages of images which inherently contain richer appearance information, e.g., texture, color, and shade. Specifically, this paper introduces a simple but effective point cloud cross-modality training (PointCMT) strategy, which utilizes view-images, i.e., rendered or projected 2D images of the 3D object, to boost point cloud analysis. In practice, to effectively acquire auxiliary knowledge from view images, we develop a teacher-student framework and formulate the cross modal learning as a knowledge distillation problem. PointCMT eliminates the distribution discrepancy between different modalities through novel feature and classifier enhancement criteria and avoids potential negative transfer effectively. Note that PointCMT effectively improves the point-only representation without architecture modification. Sufficient experiments verify significant gains on various datasets using appealing backbones, i.e., equipped with PointCMT, PointNet++ and PointMLP achieve state-of-the-art performance on two benchmarks, i.e., 94.4% and 86.7% accuracy on ModelNet40 and ScanObjectNN, respectively. Code will be made available at https://github.com/ZhanHeshen/PointCMT.

研究の動機と目的

• 単一モダリティの点群学習のボトルネックを克服するため、画像から豊かな外観情報を利用する動機付け。
• 訓練中に画像 priors を点群モデルへ転送するクロスモーダル知識蒸留フレームワークを開発。
• 推論時に点群モデルのアーキテクチャを変更せずに改善を実現。

提案手法

• 画像エンコーダと分類器が教師、点群エンコーダが生徒として機能する教師-生徒設定を採用。
• 各3Dオブジェクトから複数のビュー画像（レンダリングまたは投影）を生成して画像ベースのグローバル特徴を取得。
• クロスモーダル点生成器（CMPG）を導入し、画像特徴を点群のような表現へマッピング；CMPGは地球搬送距離（Earth Mover’s Distance）で事前訓練され、点群を再構成。
• 3つの訓練目的を適用：画像ベースの分類損失、画像由来と点由来の再構成間のEMDによる特徴強化損失、KL発散によるロジットを整列させる分類器強化損失。
• 最終損失として、クロスエントロピー、特徴、分類器損失の加重和を用いる（重み：α=30、β=0.3）。
• 推論時の改善のため、アーキテクチャ変更を伴わず任意の点群モデルと PointCMT を統合。

実験結果

リサーチクエスチョン

• RQ1 画像由来の priors は推論アーキテクチャを変更せずに訓練中の識別可能な点群表現を改善できるか？
• RQ2 異種モダリティ間のネガティブトランスファーを避けるために、クロスモーダル知識蒸奪をどのように定式化すべきか（画像と点群）？
• RQ3 ビュー画像生成戦略の違いはクロスモーダル転送の効果にどのような影響を与えるか？
• RQ4 データ効率とアブレーションの選択は PointCMT の標準的な3Dベンチマークでの利得にどのように影響するか？

主な発見

• PointCMT はベースライン全体で顕著な利得を生み出す。例として、PointNet++ with PointCMT は ModelNet40 で OA 94.4%、基準 93.4% から約 +1.0 ポイントの絶対値上昇。
• ScanObjectNN では PointNet++ with PointCMT は PB_T50_RS で OA 83.3%（+3.9）、OBJ_ONLY で mAcc 91.8%（+4.3）。
• PointMLP with PointCMT は PB_T50_RS で OA を 86.4%（+1.0）、OBJ_ONLY で mAcc を 92.0%（+2.6）へ改善。
• データが限定的な場合に PointCMT の利得がより顕著。訓練データの 2% および 10% で、PointNet++ with PointCMT の OA 改善は約 +1.9 〜 +2.8 ポイントを観察。
• アブレーションは FE と CE の組み合わせが最良の結果を示す（ModelNet40 OA 94.4%、ScanObjectNN OBJ_ONLY 83.3%）
• 標準 KD 手法と比較して、PointCMT のクロスモーダルアプローチはネガティブトランスファーを回避し、テストベンチマークでベースラインを上回る。