[論文レビュー] PC$^2$-PU: Patch Correlation and Point Correlation for Effective Point Cloud Upsampling

Long Chen, Wenxiao Zhang+4 more|arXiv (Cornell University)|Sep 20, 2021

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本稿では、パッチ同士およびポイント同士の相関関係をモデル化することで空間的一致性を向上させる、新しいポイントクラウドアップサンプリング手法PC²-PUを提案する。パッチ相関モジュール（PaCM）を導入して隣接パッチ間の関係を活用し、ポイント相関モジュール（PoCM）を用いて局所的な幾何構造を保持することで、クリーンな入力およびノイズのある入力の両方で最先端の性能を達成し、精度とロバスト性の面で従来手法を上回る。

ABSTRACT

Point cloud upsampling is to densify a sparse point set acquired from 3D sensors, providing a denser representation for the underlying surface. Existing methods divide the input points into small patches and upsample each patch separately, however, ignoring the global spatial consistency between patches. In this paper, we present a novel method PC$^2$-PU, which explores patch-to-patch and point-to-point correlations for more effective and robust point cloud upsampling. Specifically, our network has two appealing designs: (i) We take adjacent patches as supplementary inputs to compensate the loss structure information within a single patch and introduce a Patch Correlation Module to capture the difference and similarity between patches. (ii) After augmenting each patch's geometry, we further introduce a Point Correlation Module to reveal the relationship of points inside each patch to maintain the local spatial consistency. Extensive experiments on both synthetic and real scanned datasets demonstrate that our method surpasses previous upsampling methods, particularly with the noisy inputs. The code and data are at \url{https://github.com/chenlongwhu/PC2-PU.git}.

研究の動機と目的

• 既存のアップサンプリング手法がパッチを独立して処理するという限界に対処し、グローバルな空間的一致性を無視することを防ぐ。
• 単一のパッチを越えた構造的関係を組み込むことで、ノイズやスパarsityのある入力に対するロバスト性を向上させる。
• 各パッチ内のポイント同士の関係をモデル化することで、アップサンプリング中に局所的な幾何的忠実性を維持する。
• 性能と推論効率のバランスを取る、軽量でありながら効果的なネットワークの開発

提案手法

• 本手法は、孤立したパッチに欠落している構造的情報を補うために、隣接パッチ間のポイント位置の類似性と相違性を符号化するパッチ相関モジュール（PaCM）を導入する。
• ポイント相関モジュール（PoCM）は、局所的な空間符号化器を用いて各パッチ内のポイント間の相対的位置関係をモデル化し、局所的な幾何的一致性を向上させる。
• PaCMとPoCMを共同で最適化することで、偽のポイント生成とノイズを抑制し、表面の忠実性を向上させる。
• ネットワークはパッチベースのアプローチを採用し、隣接パッチを補助入力として用いるため、より大きなパッチサイズを必要としない。
• 全ポイントクラウドにわたる重いトランスフォーマー層を避けるために、トランスフォーマー演算を局所的近傍に制限することで、推論速度を向上させる。
• 本手法はエンドツーエンドに訓練され、底面の表面に均等に分布し、正確に位置付けられた高密度ポイントクラウドを予測する。

実験結果

リサーチクエスチョン

• RQ1 パッチ同士の関係をどのように活用することで、ポイントクラウドアップサンプリングの幾何的一致性を向上させられるか？
• RQ2 各パッチ内でのポイント同士の関係をモデル化することで、アップサンプリング時の局所的表面忠実性はどの程度向上するか？
• RQ3 局所的およびグローバルな相関関係を組み合わせた軽量なネットワークは、ノイズやスパarsityのある入力において、従来のSOTA手法を上回ることができるか？
• RQ4 本手法は、ベースライン手法と比較して、さまざまなパッチサイズおよび入力品質においてどのように一般化性能を示すか？

主な発見

• 4倍アップサンプリングにおけるShapeNetデータセットでは、PC²-PUが0.2321×10⁻³という最小のチェンファーディスタンス（CD）を達成し、以前のSOTA手法であるDis-PU（0.2560×10⁻³）を上回った。
• ノイズのある入力では、PC²-PUがCD 0.5099×10⁻³を達成し、Dis-PU（0.5339×10⁻³）を顕著に上回り、優れたロバスト性を示した。
• 本手法は強力な一般化能力を維持し、PU1KベンチマークではP2F-meanが1.4940×10⁻³を達成し、AG-GCNおよびDis-PUを上回った。
• モデルの複雑さは低く、トレーニング可能なパラメータが1.71MB、推論時間が4.1867msであり、高い性能にもかかわらず効率的である。
• パッチサイズをx2からx4に増加させると性能が低下し、PaCMのパッチ相関がより大きな受容 field よりも効果的であることを確認した。
• アブレーションスタディの結果、SPNEおよびLSEのコンponentを削除すると性能が著しく低下し、両相関モジュールの重要性が裏付けられた。