[論文レビュー] Arbitrary Point Cloud Upsampling with Spherical Mixture of Gaussians

Anthony Dell’Eva, Marco Orsingher+1 more|arXiv (Cornell University)|Aug 10, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本論文は、入力点群を単位球面上の球面混合ガウス分布（SMOG）にマッピングするTransformerベースの手法APU-SMOGを提案する。この手法により、テスト時に任意の点数のサンプリングが可能となり、アップサンプリング比とネットワークアーキテクチャを分離することで、固定比で学習された単一のモデルで、非整数スケーリング要因を含む最先端の性能を達成する。

ABSTRACT

Generating dense point clouds from sparse raw data benefits downstream 3D understanding tasks, but existing models are limited to a fixed upsampling ratio or to a short range of integer values. In this paper, we present APU-SMOG, a Transformer-based model for Arbitrary Point cloud Upsampling (APU). The sparse input is firstly mapped to a Spherical Mixture of Gaussians (SMOG) distribution, from which an arbitrary number of points can be sampled. Then, these samples are fed as queries to the Transformer decoder, which maps them back to the target surface. Extensive qualitative and quantitative evaluations show that APU-SMOG outperforms state-of-the-art fixed-ratio methods, while effectively enabling upsampling with any scaling factor, including non-integer values, with a single trained model. The code is available at https://github.com/apusmog/apusmog/

研究の動機と目的

• 既存の点群アップサンプリングモデルが、各固定アップサンプリング比に対して再訓練を必要としているという制限に対処すること。
• 非整数値を含む任意のアップサンプリング比を、単一の学習済みモデルで実現すること。
• 中間の確率的表現を用いることで、アップサンプリング処理とネットワークアーキテクチャを分離すること。
• 学習可能な球面分布とアテンションベースの精緻化により、疎でノイズの多い入力に対しても一般化性と耐性を向上させること。
• 出力解像度の柔軟性を維持しつつ、複数のベンチマークで最先端の性能を達成すること。

提案手法

• 入力の疎な点群が、各点が混合重みと球面座標における2変量ガウス分布に関連付けられた、単位球面上の球面混合ガウス分布（SMOG）に変換される。
• SMOG分布のパラメータ（球面座標における平均と分散）はニューラルネットワークによって予測され、入力表面の局所的・適応的確率的表現が可能になる。
• テスト時に学習済みSMOG分布から任意の数の点がサンプリングされ、任意の希望解像度への柔軟なアップサンプリングが可能になる。
• サンプリングされた点が、変換器デコーダのクエリとして入力され、出力解像度をモデルアーキテクチャから分離して、ターゲット3次元表面にマッピングされる。
• 局所的自己アテンションに基づく残差精緻化ブロックが、外れ値の補正と最終出力の幾何的忠実度の向上に用いられる。
• 再構成損失の組み合わせ（点対点距離損失（P2F）、ハウスドルフ距離損失（HD）、射影損失（Π））を用いてモデルを訓練し、ガウス分布の平均を表面に一致させる。

実験結果

リサーチクエスチョン

• RQ1 非整数値を含む任意のアップサンプリング比に対して、再訓練なしに単一のニューラルネットワークモデルが点群アップサンプリングを実行できるか？
• RQ2 中間表現として球面混合ガウス分布を学習することで、固定サンプリング戦略と比較して、より優れた一般化性と柔軟性が得られるか？
• RQ3 アテンションベースの精緻化を備えた変換器ベースのデコーダは、学習済み分布からの任意サンプリングから高解像度点群を再構築するのにどの程度効果的か？
• RQ4 各損失成分（例：射影損失、再構成損失）が最終的な性能と耐性にどの程度寄与しているか？
• RQ5 本手法は、疎な入力やノイズの多い点群に対しても一般化可能であり、細かな幾何的ディテールを保持できるか？

主な発見

• APU-SMOGは複数のベンチマークで最先端の性能を達成し、PU1Kデータセットにおいて、チェンファーディスタンス（CD）0.528×10⁻³、ハウスドルフ距離（HD）2.549×10⁻³、P2F 1.667×10⁻³を達成した。
• アブレーションスタディにより、SMOG表現が均一サンプリング（FoldingNetと同様）を上回り、CDが0.558×10⁻³であることが確認され、局所的分布の適応的特性の利点が示された。
• 残差精緻化ブロックを削除すると、HDが8.536×10⁻³に上昇し、外れ値の低減と表面忠実度の向上に有効であることが示された。
• 射影損失（ℒΠ）はアップサンプリングにおいて、ACD損失（ℒACD）よりも効果的であることが示された。ℒACDを用いた場合のP2Fスコアは2.694×10⁻³であったのに対し、ℒΠを用いた場合は1.667×10⁻³であった。
• 本モデルは、256点程度の疎な入力や、加法的ガウスノイズ（σ=0.02）が加わったデータに対しても、馬の脚や車の窓などの細かな構造を保持して良好に一般化した。
• 1つのモデルをr=4で学習した状態で、非整数比（例：r=2.34、r=4.93）へのアップサンプリングに成功し、真の任意のアップサンプリング能力を実証した。