[論文レビュー] PU-EVA: An Edge Vector based Approximation Solution for Flexible-scale Point Cloud Upsampling

Luqing Luo, Lulu Tang+3 more|arXiv (Cornell University)|Apr 22, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

PU-EVA は、ネットワークアーキテクチャからアップサンプリングレートを分離することで、柔軟なスケールの点群アップサンプリングを実現するエッジベクトルに基づくアフィン結合手法を提案する。局所幾何構造をエッジベクトルでモデル化し、2次テイラー展開に基づく近似誤差の制約を課すことにより、最先端の手法と比較して優れた表面忠実度、均一性、詳細の保持を達成する。

ABSTRACT

High-quality point clouds have practical significance for point-based rendering, semantic understanding, and surface reconstruction. Upsampling sparse, noisy and nonuniform point clouds for a denser and more regular approximation of target objects is a desirable but challenging task. Most existing methods duplicate point features for upsampling, constraining the upsampling scales at a fixed rate. In this work, the flexible upsampling rates are achieved via edge vector based affine combinations, and a novel design of Edge Vector based Approximation for Flexible-scale Point clouds Upsampling (PU-EVA) is proposed. The edge vector based approximation encodes the neighboring connectivity via affine combinations based on edge vectors, and restricts the approximation error within the second-order term of Taylor's Expansion. The EVA upsampling decouples the upsampling scales with network architecture, achieving the flexible upsampling rates in one-time training. Qualitative and quantitative evaluations demonstrate that the proposed PU-EVA outperforms the state-of-the-art in terms of proximity-to-surface, distribution uniformity, and geometric details preservation.

研究の動機と目的

• 既存の深層学習手法における固定されたアップサンプリングレートという制限を解消すること。
• 疎な点群やノイズの多い点群のアップサンプリングにおいて、表面忠実度、均一性、幾何的詳細の保持を向上させること。
• 1回の訓練で複数のスケールに対応できるように、アップサンプリングスケールをネットワークアーキテクチャから分離すること。
• エッジベクトルを用いて局所的な幾何構造を統合し、より正確な点配置を可能にすること。

提案手法

• 3次元点群の局所的近傍接続性を符号化するため、エッジベクトルを用いて類似度行列を構築する。
• エッジベクトルに基づくアフィン結合を用いて新しい点を生成し、隣接点からの幾何的文脈を活用する。
• 線形近似定理を適用し、近似誤差を2次テイラー展開項内で制限する。
• アーキテクチャの変更なしに、さまざまなアップサンプリングスケールに動的に適応可能な学習可能なアップサンプリングユニットを設計する。
• エンドツーエンドの深層学習フレームワークに EVA アップサンプリングユニットを統合し、特徴の共同学習と点生成を実現する。
• アブレーションおよび比較のためのベースラインとして、NodeShuffle および直接的な特徴の複製を用いる。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしにエッジベクトルに基づくアフィン結合が柔軟なアップサンプリングレートを達成できるか？
• RQ2 エッジベクトルによる幾何構造の統合が、表面近似と詳細の保持を向上させるか？
• RQ3 近似誤差を解析的に境界化でき、ネットワークの収束を保証できるか？
• RQ4 入力のノイズや疎らさの変動に対して、本手法はどのように性能を示すか？
• RQ5 非一様なサンプリングを示す実世界の LiDAR スキャンデータに対しても一般化可能か？

主な発見

• PU-EVA は、すべての入力解像度において、最小のチェンファーディスタンス（CD）とハウスドルフディスタンス（HD）を達成しており、優れた表面近似性能を示している。
• 4倍アップサンプリングにおいて、疎な入力に対して PU-GAN より最大15%、PU-Net より10% の CD 減少を達成している。
• アブレーションスタディにより、EVA アップサンプリングユニットがすべての3つの指標（CD、HD、F-Score）において、直接的な特徴の複製および NodeShuffle を上回ることが確認された。
• 2次テイラー誤差項が存在しなくても、PU-EVA は強力な性能を維持しており、エッジベクトル機構の頑健性を裏付けている。
• 入力ノイズに対して高い頑健性を示し、ガウスノイズのレベルが上昇しても一貫した性能低下を示した。
• Kitti から得た実世界の LiDAR スキャンでは、PU-EVA が疎で非一様な街路シーンを効果的に向上させ、より鋭く正確な物体形状を生成した。