[論文レビュー] Deep Point Cloud Reconstruction

Jaesung Choe, Byeongin Joung+3 more|arXiv (Cornell University)|Nov 23, 2021

3D Shape Modeling and Analysis参考文献 68被引用数 10

ひとこと要約

本論文は、スキャンにおける疎らさ、ノイズ、不完全性を同時に解決する、点群再構成のための新規な2段階的ディーブラーニングフレームワークを提案する。最初の段階では、スパース畳み込みを用いて3次元構造を保持しながらボクセルベースの密度化とノイズ除去を実行するスパーススタックドアーゲートワークを採用し、2番目の段階では位置符号化を拡張したトランスフォーマーを用いてボクセルを高品質な3次元点群に再変換する。この手法により、ScanNet、ICL-NUIM、ShapeNetPartデータセットで最先端の性能を達成し、実世界のシーンに対しても優れた一般化性能を示す。

ABSTRACT

Point cloud obtained from 3D scanning is often sparse, noisy, and irregular. To cope with these issues, recent studies have been separately conducted to densify, denoise, and complete inaccurate point cloud. In this paper, we advocate that jointly solving these tasks leads to significant improvement for point cloud reconstruction. To this end, we propose a deep point cloud reconstruction network consisting of two stages: 1) a 3D sparse stacked-hourglass network as for the initial densification and denoising, 2) a refinement via transformers converting the discrete voxels into 3D points. In particular, we further improve the performance of transformer by a newly proposed module called amplified positional encoding. This module has been designed to differently amplify the magnitude of positional encoding vectors based on the points' distances for adaptive refinements. Extensive experiments demonstrate that our network achieves state-of-the-art performance among the recent studies in the ScanNet, ICL-NUIM, and ShapeNetPart datasets. Moreover, we underline the ability of our network to generalize toward real-world and unmet scenes.

研究の動機と目的

• 原始的な3次元点群に内在する限界（疎らさ、ノイズ、不規則性、不完全性）を統一的な再構成フレームワークにより解消すること。
• 密度化、ノイズ除去、欠損補完を別々のタスクとして扱う従来の手法の限界を克服し、しばしば劣悪な結果をもたらすのを防ぐこと。
• 未観測のシーンや実世界スキャンに対しても良好に動作する汎用的かつオブジェクトに依存しないアプローチを開発すること。
• 空間周波数と点間距離に応じて適応する新しい位置符号化戦略を導入することで、トランスフォーマーに基づく点群精緻化を向上させること。

提案手法

• 2段階のアーキテクチャ：最初に、スパース畳み込みを用いて3次元構造を保持しながらボクセル生成とノイズ除去を実行するスパーススタックドアーゲートワーク。
• 2番目に、トランスフォーマーを用いて離散的なボクセルを高解像度の3次元点群に変換するボクセル再配置ネットワークを採用し、細粒度な再構成を可能にする。
• 提案された拡張された位置符号化は、点間距離に応じて位置符号化の大きさを調整し、3次元空間における高周波数ディテールのモデリングを強化する。
• トランスフォーマーでは、自己注意と交差注意メカニズムを併用することで、局所的およびグローバルなコンテキストを効果的に捉える。
• 各アーケイトクチャブロックでボクセルのプルーニングと生成を実施し、スパース入力からのアーチファクトを回避しながら構造的一致性を維持する。
• フレームワークはエンドツーエンドで学習され、標準ベンチマークでチェンファーディスタンスとFスコアを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 密度化、ノイズ除去、欠損補完を1つのフレームワークで同時に解決することで、別々のタスクとして処理する従来手法よりも優れた点群再構成が達成できるか？
• RQ2 提案された拡張された位置符号化は、標準的な位置符号化（$\text{gamma}_{\text{PE}}$）や学習可能位置符号化（PE*）と比較して、トランスフォーマーに基づく点群精緻化にどのように寄与するか？
• RQ3 提案手法は、未観測の実世界スキャンや未確認のオブジェクトカテゴリに対し、どの程度一般化性能を示すか？
• RQ4 トランスフォーマーの精緻化段階における自己注意と交差注意モジュールの寄与度は何か？

主な発見

• 提案手法は、ScanNet、ICL-NUIM、ShapeNetPartデータセットで最先端の性能を達成し、$l_{\text{vox}} = 0.02$ および $\rho_{\text{in}} = 2048$ の条件下でShapeNet-Partでチェンファーディスタンス1.195、Fスコア55.488を達成した。
• アブレーションスタディにより、拡張された位置符号化が標準的な位置符号化（$\text{gamma}_{\text{PE}}$）や学習可能位置符号化（PE*）を著しく上回ることが確認され、チェンファーディスタンスが0.036低下した。
• 自己注意と交差注意の両方のレイヤーを組み合わせたモデルが最良の性能を示し、単一の注意タイプを使用するモデルを上回った。
• モデルは実世界スキャンに対し良好に一般化し、微調整なしに未確認のシーンや未確認のオブジェクトカテゴリに対しても頑健であることが示された。
• ボクセル生成ネットワーク単体ではチェンファーディスタンス1.42を達成したが、2段階のフルシステムにより1.195に低下し、精緻化段階の重要性が明確になった。
• 本手法は疎らでノイジーな入力に対しても効果的に対処でき、最初の段階でスパーススタックドアーゲートワークが外れ値を効果的に除去し、点群の密度化を成功させた。