[論文レビュー] Meta-PU: An Arbitrary-Scale Upsampling Network for Point Cloud

Shuquan Ye, Dongdong Chen+3 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 29被引用数 9

ひとこと要約

Meta-PUは、メタラーニングアプローチを用いて、非整数スケールを含む任意のスケール要因をサポートする、最初のポイントクラウドアップサンプリングネットワークを提案する。メタサブネットワークによる重みの動的調整と、残差グラフ畳み込みブロック、および最遠距離サンプリング層を組み合わせることで、1つのモデルによる全スケールでの推論を可能にし、単一スケールベースラインを上回りながら、スパースでノイズの多い、および未知のデータに対しても頑健性を示す。

ABSTRACT

Point cloud upsampling is vital for the quality of the mesh in three-dimensional reconstruction. Recent research on point cloud upsampling has achieved great success due to the development of deep learning. However, the existing methods regard point cloud upsampling of different scale factors as independent tasks. Thus, the methods need to train a specific model for each scale factor, which is both inefficient and impractical for storage and computation in real applications. To address this limitation, in this work, we propose a novel method called ``Meta-PU" to firstly support point cloud upsampling of arbitrary scale factors with a single model. In the Meta-PU method, besides the backbone network consisting of residual graph convolution (RGC) blocks, a meta-subnetwork is learned to adjust the weights of the RGC blocks dynamically, and a farthest sampling block is adopted to sample different numbers of points. Together, these two blocks enable our Meta-PU to continuously upsample the point cloud with arbitrary scale factors by using only a single model. In addition, the experiments reveal that training on multiple scales simultaneously is beneficial to each other. Thus, Meta-PU even outperforms the existing methods trained for a specific scale factor only.

研究の動機と目的

• 既存のポイントクラウドアップサンプリング手法における、各スケール要因ごとに別々のモデルを訓練する非効率性と現実的でない点を解決する。
• 微調整や再訓練なしに、非整数スケールを含む任意のスケール要因を1つのモデルが処理できるようにする。
• 統合されたフレームワーク内で複数のスケール要因を同時に学習することで、全スケールにおける性能向上を図る。
• スパースでノイズの多い、非一様なポイントクラウド、ならびに実世界のLiDARデータに対しても頑健性を確保する。
• 3次元再構築およびメッシュ生成や分類などの下流アプリケーションに適した、柔軟で効率的かつ一般化可能なソリューションを提供する。

提案手法

• 目的のスケール要因に基づいて、軽量なメタサブネットワークによって重みを動的に予測するメタ-RGCブロックを導入する。
• 局所的な幾何的特徴を抽出し、ポイント間の関係を捉えるために、残差グラフ畳み込み（RGC）ブロックを採用する。
• スケール要因に応じて任意の数の出力ポイントを生成する最遠距離サンプリングブロックを用いる。
• 全ネットワークを複数のスケール要因を同時に学習させることで、エンドツーエンドの訓練と共同最適化を実現する。
• メタラーニングを活用し、再訓練なしに推論時にバックボーンネットワークがその挙動を適応可能にする。
• 推論時に任意のスケール要因について、オンザフライでアップサンプリングを可能にする微分可能アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、非整数スケールを含む任意のスケール要因においてポイントクラウドアップサンプリングに一般化可能か？
• RQ2 複数のスケール要因を同時に学習することで、各スケールに対して別々に学習したモデルと比較して性能が向上するか？
• RQ3 提案されたメタラーニング機構が、推論時に異なるスケール要因に応じてネットワーク重みを動的に適応可能か？
• RQ4 実スキャンされたLiDARポイントクラウドなどの未知のデータ分布に対し、モデルの一般化性能はどの程度か？
• RQ5 メッシュ再構築やポイントクラウド分類のような下流タスクにおいて、この手法がどの程度性能を向上させるか？

主な発見

• Meta-PUは、テストされたすべてのスケール要因で最先端の性能を達成しており、個別に訓練されたモデルを上回ることすらある。
• 微調整なしに、SHREC15やKITTI LiDARスキャンなど、未知のデータセットに対しても良好な一般化性能を示す。
• 1.25倍、1.75倍、2.25倍など、従来の単一スケールモデルでは実現不可能な非整数スケール要因に対しても正常に処理可能である。
• スパース入力（512ポイント未満）や最大1％のガウスジャミングを含むノイズの多いポイントクラウドに対しても高い頑健性を維持する。
• ポイントクラウド分類タスクにおいて、512ポイントからのMeta-PUによるアップサンプリングで、元の2048ポイント入力と同等の性能を回復する。
• 複数スケールの共同学習により、単一スケールベースラインと比較して、一般化性能が向上し、各個別のスケールでもより良い性能が得られる。