[論文レビュー] Masked Surfel Prediction for Self-Supervised Point Cloud Learning

Yabin Zhang, Jiehong Lin+4 more|arXiv (Cornell University)|Jul 7, 2022

3D Shape Modeling and Analysis被引用数 9

ひとこと要約

本稿では、トランスフォーマーに基づくエンコーダ・デコーダネットワークを用いて、マスクされたサーフェルの位置と法線を同時に予測する、点群向けの新しい自己教師付き学習手法であるMasked Surfel Prediction（MaskSurf）を提案する。局所的な幾何構造をサーフェル予測によって統合することで、チェンファーディスタンスおよび新しい位置インデックス法線距離（PIND）によって監視される手法により、SOTA性能を達成し、ScanObjectNN（OBJ-BG設定）において、あらゆる微調整プロトコルでPoint-MAEを1.2%上回る性能を示した。

ABSTRACT

Masked auto-encoding is a popular and effective self-supervised learning approach to point cloud learning. However, most of the existing methods reconstruct only the masked points and overlook the local geometry information, which is also important to understand the point cloud data. In this work, we make the first attempt, to the best of our knowledge, to consider the local geometry information explicitly into the masked auto-encoding, and propose a novel Masked Surfel Prediction (MaskSurf) method. Specifically, given the input point cloud masked at a high ratio, we learn a transformer-based encoder-decoder network to estimate the underlying masked surfels by simultaneously predicting the surfel positions (i.e., points) and per-surfel orientations (i.e., normals). The predictions of points and normals are supervised by the Chamfer Distance and a newly introduced Position-Indexed Normal Distance in a set-to-set manner. Our MaskSurf is validated on six downstream tasks under three fine-tuning strategies. In particular, MaskSurf outperforms its closest competitor, Point-MAE, by 1.2\% on the real-world dataset of ScanObjectNN under the OBJ-BG setting, justifying the advantages of masked surfel prediction over masked point cloud reconstruction. Codes will be available at https://github.com/YBZh/MaskSurf.

研究の動機と目的

• 既存のマスクされた自己符号化手法が、マスクされた点の再構成にのみ焦点を当て、局所的な幾何構造を無視するという限界に対処すること。
• 位置と法線を有するサーフェル（表面要素）を用いて局所的な幾何構造を明示的にモデル化することで、自己教師付き表現学習が向上するかを検討すること。
• 点群のマスク化された部分から、サーフェルの位置と法線を同時に予測する新しい事前学習タスクを構築し、幾何的詳細をよりよく捉えること。
• 多様な下流タスクおよび微調整戦略において、点のみの再構成ではなく、サーフェルベースの再構成が優れていることを実証すること。

提案手法

• 局所的なパッチに高比率のマスキングを適用するグループ化戦略を用いて、入力をマスクされた点群として表現する。
• マスクされた点パッチから元のサーフェルクラウドを予測するためのトランスフォーマーに基づくエンコーダ・デコーダネットワークを設計する。
• セット・ツー・セットのアプローチで、サーフェルの位置（点）と各サーフェルの方向（法線）を同時に予測する。
• 予測されたサーフェル位置と真値との間のチェンファーディスタンス（CD）を用いて、点の予測を監視する。
• 空間的対応に基づいて予測された法線を真値の法線と一致させるために、新しい位置インデックス法線距離（PIND）を導入し、法線予測を監視する。
• エンド・ツー・エンドに訓練する際、マスクされたサーフェル予測を事前学習タスクとして用い、人為的アノテーションなしに幾何構造に配慮した特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的なマスクされた点再構成と比較して、サーフェルを用いた局所的幾何構造の明示的モデリングが、自己教師付き点群表現学習を改善できるか。
• RQ2 点の予測のみではなく、サーフェルの位置と法線を同時に予測することは、より優れた特徴学習をもたらすか。
• RQ3 分類、セグメンテーション、少数ショット学習、ドメイン一般化を含む多様な下流タスクにおいて、MaskSurfの性能はいかが。
• RQ4 背景の雑音やバウンディングボックスの摂動といった困難な状況下でも、サーフェルベースの幾何構造モデリングがモデルの汎化性とロバスト性にどのように寄与するか。

主な発見

• 実世界のScanObjectNNデータセット（OBJ-BG設定）において、MaskSurfは91.22%の正確度を達成し、Point-MAEを1.2%上回った。
• ModelNet40の少数ショット分類ベンチマーク（10-shot, 5-way）において、MaskSurfは96.5%の正確度を達成し、Point-MAEの96.3%を上回った。
• ShapeNetPartにおけるパーツセグメンテーションでは、特徴転送プロトコル下でmIoUcが84.36%に達し、Point-MAEの84.19%を上回った。
• S3DIS Area5におけるセマンティックセグメンテーションでは、視覚的比較においてMaskSurfがPoint-MAEよりも優れた結果を示した。
• 提案された位置インデックス法線距離（PIND）は、法線予測の品質を著しく向上させ、より良い幾何特徴学習に寄与した。
• すべての6つの下流タスクおよび3つの微調整戦略（特徴転送、線形分類、非線形分類）において、MaskSurfはPoint-MAEを一貫して上回った。