[論文レビュー] Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions

Yun He, Danhang Tang+3 more|arXiv (Cornell University)|Apr 24, 2023

3D Shape Modeling and Analysis被引用数 9

ひとこと要約

Grad-PUは、Euclidean空間での中点補間を経てポイントの位置を初期化し、学習済みの点-点距離関数（P2PNet）に導かれた勾配降下法によって、任意のレートでポイントクラウドをアップサンプリングします。再訓練を行うことなく、異なるアップサンプリングレートに対して最先端の精度と効率を実現します。

ABSTRACT

Most existing point cloud upsampling methods have roughly three steps: feature extraction, feature expansion and 3D coordinate prediction. However,they usually suffer from two critical issues: (1)fixed upsampling rate after one-time training, since the feature expansion unit is customized for each upsampling rate; (2)outliers or shrinkage artifact caused by the difficulty of precisely predicting 3D coordinates or residuals of upsampled points. To adress them, we propose a new framework for accurate point cloud upsampling that supports arbitrary upsampling rates. Our method first interpolates the low-res point cloud according to a given upsampling rate. And then refine the positions of the interpolated points with an iterative optimization process, guided by a trained model estimating the difference between the current point cloud and the high-res target. Extensive quantitative and qualitative results on benchmarks and downstream tasks demonstrate that our method achieves the state-of-the-art accuracy and efficiency.

研究の動機と目的

• 任意のアップサンプリングレートを再訓練なしにサポートする動機。, 3D座標予測の不正確さやアーティファクト（外れ値/縮小）を解決する。, ユークリッド空間内補間によるポイント生成と学習を分離する。, 補間点を学習可能かつ微分可能な距離関数によって洗練する。

提案手法

• ユークリッド空間で中点補間を用いて、与えられたレートの補間点クラウドを生成する。, 学習済み距離関数F(p)が最近傍のグラウンドトゥルース点へ導く勾配降下プロセスを通じて、補間点を反復的に洗練する。, 補間点の距離を推定する多尺度の局所・全体特徴を用いた微分可能なオラクルP2PNetを学習する。, 距離関数の連続性を改善するため、ガウシアンノイズで撹乱されたサンプルを用いてP2PNetを訓練する。, Fを推論時にP2PNetで近似しながら、p^{t+1} = p^t - lambda * grad F(p^t) という式をT回の反復で適用して洗練する。, 距離回帰のためにP3DConvベースの特徴抽出を用いて局所・全体特徴を生成する。

実験結果

リサーチクエスチョン

• RQ1 任意のアップサンプリングレートを、レートごとにモデルを再訓練することなく達成できるか？
• RQ2 学習済み点-点距離関数を最適化することは、座標オフセット予測よりも安定的で正確なアップサンプリングにつながるか？
• RQ3 補間による点生成と refinement を分離することは、ロバスト性と下流タスクの性能にどのように影響するか？
• RQ4 微分可能な距離オラクルは、実世界のトポロジー的に複雑な点群における反復的洗練を十分に導けるか？

主な発見

• 提案手法Grad-PUフレームワークは、アップサンプリングレートを跨いでベンチマークデータセットにおいて最先端の精度と効率を達成する。
• 中点補間は点生成と学習をデカップリングし、再訓練なしに任意のアップサンプリングレートを可能にする。
• 微分可能な点-点距離ネットワーク（P2PNet）は、勾配ベースの洗練の安定したオラクルを提供する。
• 距離ベースの洗練は、直接的な3D座標予測と比べて外れ値と縮小アーティファクトを低減する。
• アプローチは、セマンティック分類や表面再構成などの下流タスクを改善する。
• ノイズや入力密度の変化に対してロバストであり、見かけないレートにも一般化することを示す。