[論文レビュー] A Conditional Denoising Diffusion Probabilistic Model for Point Cloud Upsampling

Wentao Qu, Yuantian Shao+3 more|arXiv (Cornell University)|Dec 3, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、点群のアップサンプリングのための条件付きノイズ除去拡散確率的モデルPUDMを提案する。PUDMは二重マッピングパラダイムを用いて、明示的なアップサンプリングモジュールを必要とせずに、密度の高い点群データ分布の勾配を直接学習する。PU1KおよびPUGANベンチマークにおいて、チェンファーディスタンス（CD）およびハウスドルフディスタンス（HD）の両面で最先端の性能を達成し、ノイズに強く、学習可能なレート要因のパrameterizationにより任意スケールの生成が可能である。

ABSTRACT

Point cloud upsampling (PCU) enriches the representation of raw point clouds, significantly improving the performance in downstream tasks such as classification and reconstruction. Most of the existing point cloud upsampling methods focus on sparse point cloud feature extraction and upsampling module design. In a different way, we dive deeper into directly modelling the gradient of data distribution from dense point clouds. In this paper, we proposed a conditional denoising diffusion probability model (DDPM) for point cloud upsampling, called PUDM. Specifically, PUDM treats the sparse point cloud as a condition, and iteratively learns the transformation relationship between the dense point cloud and the noise. Simultaneously, PUDM aligns with a dual mapping paradigm to further improve the discernment of point features. In this context, PUDM enables learning complex geometry details in the ground truth through the dominant features, while avoiding an additional upsampling module design. Furthermore, to generate high-quality arbitrary-scale point clouds during inference, PUDM exploits the prior knowledge of the scale between sparse point clouds and dense point clouds during training by parameterizing a rate factor. Moreover, PUDM exhibits strong noise robustness in experimental results. In the quantitative and qualitative evaluations on PU1K and PUGAN, PUDM significantly outperformed existing methods in terms of Chamfer Distance (CD) and Hausdorff Distance (HD), achieving state of the art (SOTA) performance.

研究の動機と目的

• アップサンプリングモジュールとCD損失の監視に依存する従来の点群アップサンプリング手法の限界を解消すること。
• 特に条件付きDDPMを用いた確率的生成モデルを活用し、密度の高い点群データ分布を直接モデリングすること。
• 主要な特徴を活用し、疎な入力構造へのバイアスを回避することで、幾何的詳細の回復を向上させること。
• 推論時にスケール事前知識を学習可能なレート要因を介して組み込むことで、高精度で任意スケールの点群生成を可能にすること。
• CD損失に依存しないことでノイズに強い特性を実現し、DDPMの内在的なノイズ除去アーキテクチャを活用すること。

提案手法

• PUDMは、スパースな点群を条件として用いることで、点群のアップサンプリングを条件付き生成問題として定式化する。
• 真の密度の高い点群から得られるデータ分布の勾配を学習することで、逆方向のノイズ除去プロセスをモデル化し、複雑な幾何形状への直接適合を可能にする。
• 二重マッピングパラダイムを導入し、以下の2つのマッピングを確立する：(1) 生成されたスパース点群と入力スパース点群の間、(2) 密な点群とノイズの間。これにより特徴の認識能が向上する。
• 訓練中にスケール比の事前知識をエンコードするためのレート要因をパrameterizationし、任意スケールの推論を可能にする。
• 訓練目的はELBOから導出され、拡散プロセスにおける予測ノイズと真のノイズの再構成損失を最小化する。式は $\mathbb{E}_{t,\epsilon}||\epsilon - \epsilon_\theta(\sqrt{1-\bar{\alpha}_t}\epsilon + \sqrt{\bar{\alpha}_t}x_0, t, C)||^2$ で表される。
• DDPMの自己回帰的性質により、点単位の座標マッピングが内在的に保証され、モジュールベースのアップサンプリングで一般的に見られる構造的歪みを回避できる。

実験結果

リサーチクエスチョン

• RQ1 明示的なアップサンプリングモジュールに依存せず、密度の高い点群の潜在的データ分布を条件付きノイズ除去拡散モデルで効果的にモデリングできるか？
• RQ2 二重マッピングパラダイムは、点群アップサンプリングにおける特徴の識別能と幾何的詳細回復にどのように寄与するか？
• RQ3 学習可能なレート要因の組み込みにより、推論時に高精度で任意スケールの点群生成が可能になるか？
• RQ4 CD損失依存の手法と比較して、DDPMベースのアプローチはノイズに対して優れた耐性を示すか？
• RQ5 データ分布の勾配をモデリングすることで、間接的な特徴ベースの近似に比べて、再構成忠実度が顕著に向上するか？

主な発見

• PUDMはPU1KおよびPUGANベンチマークで最先端の性能を達成し、両方の指標（チェンファーディスタンスCDおよびハウスドルフディスタンスHD）で従来手法を顕著に上回っている。
• PU1KではCDが0.00088、HDが0.0021を達成し、優れた再構成精度を示している。
• PUGANではCDが0.00102、HDが0.0023を達成し、さらに最先端の性能を裏付けている。
• ノイズに強い性能を示し、ノイズの強い入力条件下でも高品質な出力を維持している。
• 視覚的結果から、PUDMは赤いブタの顔の特徴など、細かな幾何的詳細を効果的に回復しており、従来手法が失敗する領域でも成功している。
• アブレーションスタディにより、二重マッピングとレート要因のパrameterizationが、特に複雑な構造の維持において重要な役割を果たしていることが確認された。