[論文レビュー] Point Cloud Upsampling via Cascaded Refinement Network

Hang Du, Xuejun Yan+3 more|arXiv (Cornell University)|Oct 8, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本稿では、入力を簡素化し、複雑な戦略を回避するため、3つの同一構造の段階——2つの段階を段階的アップサンプリングに、1つの段階を精錬に使用する——を備えた段階的精錬ネットワークを提案する。この手法は、トレーニングを簡素化し、合成データおよび実スキャンデータの両方で最先端の性能を達成し、忠実度と均一性が向上する。さらに、計算リソースに応じて精錬段階をオプションとして選択可能にすることで、動的な推論効率を実現する。

ABSTRACT

Point cloud upsampling focuses on generating a dense, uniform and proximity-to-surface point set. Most previous approaches accomplish these objectives by carefully designing a single-stage network, which makes it still challenging to generate a high-fidelity point distribution. Instead, upsampling point cloud in a coarse-to-fine manner is a decent solution. However, existing coarse-to-fine upsampling methods require extra training strategies, which are complicated and time-consuming during the training. In this paper, we propose a simple yet effective cascaded refinement network, consisting of three generation stages that have the same network architecture but achieve different objectives. Specifically, the first two upsampling stages generate the dense but coarse points progressively, while the last refinement stage further adjust the coarse points to a better position. To mitigate the learning conflicts between multiple stages and decrease the difficulty of regressing new points, we encourage each stage to predict the point offsets with respect to the input shape. In this manner, the proposed cascaded refinement network can be easily optimized without extra learning strategies. Moreover, we design a transformer-based feature extraction module to learn the informative global and local shape context. In inference phase, we can dynamically adjust the model efficiency and effectiveness, depending on the available computational resources. Extensive experiments on both synthetic and real-scanned datasets demonstrate that the proposed approach outperforms the existing state-of-the-art methods.

研究の動機と目的

• 密度、均一性、忠実度のバランスを難しくする単一段階のポイントクラウドアップサンプリングネットワークの限界を是正すること。
• ウォームアップや段階的トレーニングなどの複雑な戦略を排除することで、粗〜細かいアップサンプリングにおけるトレーニングを簡素化すること。
• 計算リソースに応じて精錬段階をオプションとして選択可能にすることで、動的な推論効率を実現すること。
• 自己注意メカニズムを用いたトランスフォーマーに基づくモジュールにより、局所的およびグローバルな形状コンテキストを捉えることで、特徴表現を向上させること。

提案手法

• 同じアーキテクチャを持つ3つの段階を段階的に接続するフレームワークを採用：2つのアップサンプリング段階が順次密度の高いポイントクラウドを生成し、その後に位置調整を行う精錬段階が続く。
• 各段階が入力形状からのポイント座標オフセットを予測することで、最適化の難易度と学習の矛盾を軽減する残差学習を実現する。
• 自己注意メカニズムを用いたポイント特徴上で、局所的およびグローバルな形状コンテキストを統合するトランスフォーマーに基づく特徴抽出モジュールを採用する。
• 2本のブランチからなる特徴拡張モジュールが、初期特徴の複製ではなく、幾何的変化を学習することでアップサンプリング後の特徴を強化する。
• 学習率ウォームアップや段階的活性化といった追加のトレーニング戦略を一切用いずに、エンドツーエンドでネットワーク全体をトレーニングする。
• 推論段階では、段階の選択を動的に可能にし、精錬段階を省略することで高速化を実現。速度と品質のトレードオフを柔軟に制御できる。

実験結果

リサーチクエスチョン

• RQ1 ウォームアップや段階的活性化といった複雑なトレーニング戦略を用いずに、粗〜細かいアップサンプリングフレームワークを効果的にトレーニングできるか？
• RQ2 ポイントオフセットの残差学習は、マルチステージポイントクラウドアップサンプリングにおける最適化をどのように改善するか？
• RQ3 MLP や GCN に基づく代替手法と比較して、トランスフォーマーに基づく特徴抽出器は形状コンテキストモデリングをどの程度向上させるか？
• RQ4 計算制約に応じて推論段階を動的に調整可能でありながら、高いパフォーマンスを維持できるか？

主な発見

• 提案された3段階の段階的精錬ネットワークは、実スキャンデータセットで0.471×10⁻³のチェンファーディスタンス（CD）を達成し、既存の最先端手法を上回る性能を示した。
• 精錬段階の導入により、ポイントクラウドの品質が著しく向上し、2段階構成のCD 0.513×10⁻³から3段階構成のCD 0.471×10⁻³に改善された。
• トランスフォーマーに基づく特徴抽出器は、MLPベース（CD: 0.628×10⁻³）およびDenseGCNベース（CD: 0.531×10⁻³）の代替手法よりも優れた性能（CD: 0.471×10⁻³）を達成した。
• 残差学習により、ウォームアップや段階的戦略を一切不要とし、CD 0.471×10⁻³の優れた性能を達成。非残差ベースライン（CD: 0.733×10⁻³）を上回った。
• 動的推論が可能である：精錬段階を省略することで、1サンプルあたりの推論時間を10.8msから7.3msに短縮し、強力な性能を維持した。
• 定性的な結果から、ボールピボット法を用いた表面再構築が滑らかに実現されており、均一性と忠実度の向上が確認された。