[論文レビュー] Ponder: Point Cloud Pre-training via Neural Rendering

Di Huang, Sida Peng+4 more|arXiv (Cornell University)|Dec 31, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

Ponderは、微分可能ニューラルレンダリングを用いた、3次元点群のための画素化されない自己教師あり事前学習手法を提案する。点群エンコーダーは、学習された3次元特徴量から実際のRGB-D画像を再構築するように訓練される。この手法は、3次元検出、セグメンテーション、再構築、画像生成といった多様な3次元タスクで最先端の性能を達成し、従来の対照的または欠損補完ベースの手法と比較して一貫した向上を示す。

ABSTRACT

We propose a novel approach to self-supervised learning of point cloud representations by differentiable neural rendering. Motivated by the fact that informative point cloud features should be able to encode rich geometry and appearance cues and render realistic images, we train a point-cloud encoder within a devised point-based neural renderer by comparing the rendered images with real images on massive RGB-D data. The learned point-cloud encoder can be easily integrated into various downstream tasks, including not only high-level tasks like 3D detection and segmentation, but low-level tasks like 3D reconstruction and image synthesis. Extensive experiments on various tasks demonstrate the superiority of our approach compared to existing pre-training methods.

研究の動機と目的

• 豊富なRGB-Dデータを活用することで、アノテーション付き3次元点群データの不足を補う自己教師あり事前学習手法の開発。
• ニューラルレンダリングを用いて点群特徴量が幾何と外観の両方の手がかりを豊かに表現できるようにすることで、3次元表現学習の向上。
• 事前学習された特徴量を高レベルの認識タスク（例：検出、セグメンテーション）と低レベルのタスク（例：再構築、画像生成）の両方に汎用可能にする。
• 対照的または欠損補完ベースの事前学習とは異なる、新たなプロキシタスク「ニューラルレンダリング再構築」の探求。
• 屋外シーンやマルチビュー入力といった多様なデータセットとモダリティにおいて、手法の有効性の検証。

提案手法

• 3次元点群エンコーダーが入力のRGB-D画像を処理し、幾何と外観の特徴量を学習し、ニューラルシーン表現を形成する。
• 学習された3次元特徴量がカメラパラメータを伴う微分可能ニューラルレンダラーを用いて2次元RGBおよび深度画像にレンダリングされる。
• マルチビューの監視戦略を用いて、レンダリング画像と実際の画像の間のL1およびL2損失を最小化することで、モデルをエンドツーエンドに訓練する。
• 複数スケールの特徴量学習を可能にするために、[16, 32, 64]の解像度を持つ3次元特徴ボリュームを構築する。
• ポイントベースおよびボクセルベースのバックボーンの両方をサポートし、さまざまな3次元モデルへの柔軟な統合を可能にする。
• 事前学習モデルは、微調整によって下流タスクに適用可能であり、SDFクエリーやMarching Cubesを用いて3次元再構築や画像生成にも直接利用可能である。

実験結果

リサーチクエスチョン

• RQ1 微分可能ニューラルレンダリングは、自己教師あり3次元点群表現学習のための有効なプロキシタスクとして機能するか？
• RQ2 ニューラルレンダリングによる事前学習は、対照的または欠損補完ベースの手法と比較して、高レベルおよび低レベルの3次元ビジョンタスクにおける一般化性能を向上させるか？
• RQ3 マルチビューの監視が、学習された3次元表現の品質および下流タスクの性能にどのように影響するか？
• RQ4 事前学習モデルが、スパarsな入力点群や複雑なシーンにどの程度一般化可能か？
• RQ5 この手法は、マルチビュー画像や屋外データセットなどの他のモダリティへ効果的に拡張可能か？

主な発見

• Ponderは、RGB-D監視情報のみを用いてScanNetで33.5%のAP50を達成し、ベースラインから+7.5%の向上を示した。
• 深度とカラーの両方の監視を組み合わせることで最高の性能が得られ、ScanNetでは+7.5%、SUN RGB-Dでは+3.7%のAP50向上を達成した。
• 最小限の16×16×16の特徴ボリューム解像度でさえも、競争力のある性能を示しており、解像度低減に対する頑健性を示している。
• 5つの入力ビューを用いることで、単一ビュー監視と比較してScanNetではAP50が0.9%、SUN RGB-Dでは1.2%向上した。
• 本手法は、元の点群の2%程度のスパースな点群からも高精細な3次元再構築が可能であり、SDF抽出とMarching Cubesを用いて詳細なメッシュを生成した。
• マルチビュー画像を用いたNuScenesデータセットでは、3次元マルチビュー物体検出で1.41%のmAP向上を達成し、異種モダリティ間の汎用性を示した。