[論文レビュー] Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit Neural Representation

Wenbo Zhao, Xianming Liu+5 more|arXiv (Cornell University)|Apr 18, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本稿では、implicit neural representationを用いた自己教師あり、任意スケールの点群アップサンプリング手法を提案する。アップサンプリングを、学習可能な方向および距離関数を介してシードポイントをimplicitな表面に射影する問題として定式化し、教師ありデータを必要としない前処理タスクにより訓練することで、さまざまなスケール要因において最先端の視覚的品質と競争力のある定量的性能を達成した。

ABSTRACT

Point clouds upsampling is a challenging issue to generate dense and uniform point clouds from the given sparse input. Most existing methods either take the end-to-end supervised learning based manner, where large amounts of pairs of sparse input and dense ground-truth are exploited as supervision information; or treat up-scaling of different scale factors as independent tasks, and have to build multiple networks to handle upsampling with varying factors. In this paper, we propose a novel approach that achieves self-supervised and magnification-flexible point clouds upsampling simultaneously. We formulate point clouds upsampling as the task of seeking nearest projection points on the implicit surface for seed points. To this end, we define two implicit neural functions to estimate projection direction and distance respectively, which can be trained by two pretext learning tasks. Experimental results demonstrate that our self-supervised learning based scheme achieves competitive or even better performance than supervised learning based state-of-the-art methods. The source code is publicly available at https://github.com/xnowbzhao/sapcu.

研究の動機と目的

• 大規模なペアドの疎点群・高密度点群データセットとその偏りのある分布を必要とする教師あり点群アップサンプリング手法の限界を解消すること。
• 異なるアップサンプリング要因に対して別々のネットワークを必要とする従来のディープラーニング手法の固定スケール性を克服すること。
• 再訓練やモデル再設定を必要とせず、一貫したアップサンプリングフレームワークとして、実世界の入力やノイズのある入力に一般化しやすい、統合的で拡大可変なアップサンプリングフレームワークを開発すること。
• 教師あり高密度点群を必要としない自己教師あり学習を可能にするために、アップサンプリングをimplicitな表面への最近接射影として定式化すること。

提案手法

• 点群アップサンプリングを、neural functionで定義されたimplicitな表面へのシードポイントの最近接射影を見つける問題として定式化する。
• 2つのimplicitなneural関数を導入する：1つは射影方向を予測し、もう1つは表面までの距離を推定する。
• 教師あり高密度点群を必要とせず、点同士の相対的位置を予測するタスクと局所幾何構造の再構築タスクという2つの前処理学習タスクにより、両関数を訓練する。
• 射影中に連続性と外れ値の制御のバランスを取るために、パラメータMを用いたマルチスケールサンプリング戦略を採用する。
• 射影後に外れ値除去ステップを適用することで、表面の均一性を向上させ、アーチファクトを低減する。
• 生成時に過剰にサンプリングされるため、最終的な点数をターゲット数に合わせるために、最も遠い点サンプリングを用いて調整する。

Figure 1 : The network architecture of implicit neural function.

実験結果

リサーチクエスチョン

• RQ1 ペアドの疎点群と高密度教師あり点群を必要とせず、点群アップサンプリングを自己教師ありで効果的に学習可能か？
• RQ2 再トレーニングやモデル再設定を必要とせず、1つの統合モデルが任意のアップサンプリングスケール要因を処理できるか？
• RQ3 サンプリング近傍サイズMの選択が、射影された点群の品質および連続性にどのように影響するか？
• RQ4 本手法は、実世界のノイズのある、または非一様にサンプリングされた入力に対し、どの程度一般化可能か？
• RQ5 implicit neural representationは、高品質で高密度かつ均一な点群生成のための潜在表面を効果的にモデル化できるか？

主な発見

• 提案手法は、特に細かな構造や輪郭を保持する点で、最先端の教師あり手法と比較して、競争的または優れた視覚的品質を達成した。
• KITTIデータセットからの実世界スキャンに対しても良好に一般化し、疎で非一様な入力からも高品質な高密度点群を生成した。
• 入力サイズやノイズレベルの違いに関わらず、一貫性があり均一な点群分布を維持しており、耐障害性が確認された。
• アブレーションスタディにより、Mの増加は表面の連続性を向上させるが、外れ値が増加することが判明したが、提案された除去ステップにより効果的に低減された。
• 再トレーニングを必要とせず、複数のスケール要因（例：4×、8×）で良好に動作することから、拡大可変性が確認された。
• 外れ値除去の後もわずかな数の外れ値が残ったが、生成時に過剰にサンプリングされるため、最終的な点数は最も遠い点サンプリングによりターゲット数に調整された。

Figure 2 : $4\times$ point upsampling results of Chair , Camel and Fandisk . (a) the input point cloud; (b) the ground truth; (c) to (i) the results of PU-Net [ 21 ] , MPU [ 20 ] , PU-GAN [ 7 ] , PU-GCN [ 13 ] , PU-DR [ 8 ] , Meta-PU [ 19 ] and ours. Please enlarge the PDF for more details.