[論文レビュー] SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization

Xinhai Liu, Xinchen Liu+2 more|arXiv (Cornell University)|Dec 8, 2020

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

SPU-Net は、密度の高い点群を教師ありの密度データを必要とせずに、疎な入力から再構成する自己教師ありの点群アップサンプリング手法を提案する。粗くから細かくまでのフレームワークを採用し、グラフ畳み込みネットワークと自己注意機構を用いて特徴抽出を行い、学習可能な2次元グリッドを用いた階層的フォールディングにより拡張を実現し、再構成、均一性、自己投影の組み合わせ損失を用いてノイズの多い点群を元の表面に最適化することで、最先端の教師あり手法と同等の性能を達成する。

ABSTRACT

The task of point cloud upsampling aims to acquire dense and uniform point sets from sparse and irregular point sets. Although significant progress has been made with deep learning models, state-of-the-art methods require ground-truth dense point sets as the supervision, which makes them limited to be trained under synthetic paired training data and not suitable to be under real-scanned sparse data. However, it is expensive and tedious to obtain large numbers of paired sparse-dense point sets as supervision from real-scanned sparse data. To address this problem, we propose a self-supervised point cloud upsampling network, named SPU-Net, to capture the inherent upsampling patterns of points lying on the underlying object surface. Specifically, we propose a coarse-to-fine reconstruction framework, which contains two main components: point feature extraction and point feature expansion, respectively. In the point feature extraction, we integrate the self-attention module with the graph convolution network (GCN) to capture context information inside and among local regions simultaneously. In the point feature expansion, we introduce a hierarchically learnable folding strategy to generate upsampled point sets with learnable 2D grids. Moreover, to further optimize the noisy points in the generated point sets, we propose a novel self-projection optimization associated with uniform and reconstruction terms as a joint loss to facilitate the self-supervised point cloud upsampling. We conduct various experiments on both synthetic and real-scanned datasets, and the results demonstrate that we achieve comparable performances to state-of-the-art supervised methods.

研究の動機と目的

• 教師ありの点群アップサンプリング手法が、トレーニングに高価なペア化された疎・密点群データを必要とするという制限を克服すること。
• 教師ありの密度データが入手できない実スキャンの疎な点群に対して、効果的なアップサンプリングを可能にすること。
• 疎な入力からだけを用いて、内在的なアップサンプリングパターンを学習する自己教師ありフレームワークの開発。
• ノイズの低減と表面の忠実度の維持によって、生成された密度の高い点群の品質を向上させること。
• 合成データおよび実世界のデータセットの両方で、競争力のある性能を達成しながらも、計算効率を維持すること。

提案手法

• 疎な入力パッチを粗いパッチにダウンサンプリングし、その後再構成することで、密度の高い点群の生成をガイドする粗くから細かくまでの再構成フレームワークを設計。
• 局所的および文脈的情報を同時に捉えるために、グラフ畳み込みネットワーク（GCN）と自己注意機構を組み合わせた点特徴抽出手法を採用。
• 粗い特徴から密度の高い点群セットを生成するために、2次元グリッドを用いた階層的で学習可能なフォールディング戦略を採用。
• ノイズの多い点群を元の表面に投影するための新しい自己投影最適化を導入。
• 空間的整合性と分布の一貫性を強制するために、再構成、均一性、自己投影の各項を組み合わせたジョイント損失関数を用いる。
• 入力の疎な点群のみを監視信号として用い、エンドツーエンドで自己教師ありにトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 教師ありの密度点群データが存在しない状況でも、自己教師ありの学習フレームワークがアップサンプリングパターンを効果的に学習できるか？
• RQ2 粗くから細かくまでの再構成戦略は、点群アップサンプリングの品質と一貫性をどのように向上させるか？
• RQ3 自己投影最適化は、教師なしアップサンプリングにおいて、ノイズの多い点群をどれほど低減し、表面の忠実度を向上させるか？
• RQ4 合成データの分布と一致しない実スキャンの疎な点群に対して、提案手法はどの程度一般化性能を示すか？
• RQ5 階層的フォールディングとジョイント損失の各コンponentが、最終的なアップサンプリング性能に与える影響は何か？

主な発見

• SPU-Net は、教師ありの密度データが一切ないにもかかわらず、合成データおよび実スキャンデータの両方で最先端の教師あり手法と同等の性能を達成する。
• 入力ノイズに対して頑健であり、0.1%、0.5%、1%、2% のノイズレベルのあらゆる状況でも高品質なアップサンプリング結果を維持する。
• アブレーションスタディにより、粗くから細かくまでのフレームワーク、階層的フォールディング、自己投影損失の各コンponentが性能向上に顕著に寄与することが確認された。
• 自己投影損失は、ノイズの多い点群を元の表面に投影することで効果的に低減され、幾何的忠実度が向上した。
• SPU-Net は計算効率に優れており、1.86 GFLOPs および 0.68 Mb のパラメータ数で、推論速度とモデルサイズの両面で、いくつかの先行手法を上回る。
• 定性的な結果では、チェアの背もたれや指の部分といった複雑な領域において、優れたディテール保持性能を示し、既存の教師あり手法よりも局所的な分布品質で優れている。