[論文レビュー] IterativePFN: True Iterative Point Cloud Filtering

Dasith de Silva Edirimuni, Xuequan Lu+4 more|arXiv (Cornell University)|Apr 4, 2023

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

IterativePFNは、1つのネットワーク内で真の反復フィルタリングをモデル化するための画期的な深層学習フレームワークを提案する。スタックされた IterationModule を用いて、各モジュールが1回のフィルタリング反復をシミュレートする。トレーニング時に適応的グランドトゥルース損失を採用することで、クリーンな表面への収束を加速し、合成データおよび実世界のデータセットにおいて、定量的指標および視覚的品質の両面で最先端の手法を上回る性能を達成する。

ABSTRACT

The quality of point clouds is often limited by noise introduced during their capture process. Consequently, a fundamental 3D vision task is the removal of noise, known as point cloud filtering or denoising. State-of-the-art learning based methods focus on training neural networks to infer filtered displacements and directly shift noisy points onto the underlying clean surfaces. In high noise conditions, they iterate the filtering process. However, this iterative filtering is only done at test time and is less effective at ensuring points converge quickly onto the clean surfaces. We propose IterativePFN (iterative point cloud filtering network), which consists of multiple IterationModules that model the true iterative filtering process internally, within a single network. We train our IterativePFN network using a novel loss function that utilizes an adaptive ground truth target at each iteration to capture the relationship between intermediate filtering results during training. This ensures that the filtered results converge faster to the clean surfaces. Our method is able to obtain better performance compared to state-of-the-art methods. The source code can be found at: https://github.com/ddsediri/IterativePFN.

研究の動機と目的

• 学習ベースの点群ノイズ除去手法が推論時でのみ反復フィルタリングを実行しており、トレーニング時にその反復プロセスをモデル化しないという限界を解消すること。
• 高いノイズ条件下での遅い収束と性能の低さを克服するため、ネットワークアーキテクチャに真の反復フィルタリングプロセスを直接統合すること。
• トレーニング中に各反復ごとに変化する新しい適応的グランドトゥルースターゲット損失を導入することで、一般化性能と収束速度を向上させること。
• 特に密接に配置された表面がある複雑な形状において、既存のバイラテラルフィルタリングベース手法で一般的な表面の崩壊やアーティファクトを低減すること。
• 合成ベンチマークおよび実世界のスキャン、特に RueMadame および Kinect v1/v2 のような挑戦的なデータセットにおいて、高い効率と正確性を達成すること。

提案手法

• 各モジュールがフィルタリングプロセスの1回の内部反復をモデル化するスタックされた IterationModule で構成される、新しいニューラルネットワークアーキテクチャである IterativePFN を提案する。
• 各反復で、現在のフィルタリング済み点がクリーンな表面からの最近接近接距離に基づいて導出される適応的グランドトゥルースターゲットを用いる、新しいトレーニング損失関数を設計する。
• 各 IterationModule 内に、点群を下位のクリーンな表面へ向かってシフトする予測を学習可能なリジッドディスプレースメント予測ヘッドを設ける。
• すべての反復にわたってクリーンな表面への収束を促進する多段階損失を用いて、ネットワーク全体をエンド・ツー・エンドで訓練する。
• 局所的文脈を捉えるために、固定されたパッチサイズ（例：100ポイント）とエッジベースの接続性を用いたk近傍（k-NN）に基づくパッチベースの局所特徴抽出機構を採用する。
• 局所的およびグローバルな表現学習を効果的に行うために、U-Netに類似したエンコーダ・デコーダバックボーンを用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク内で真の反復フィルタリングプロセスをモデル化することで、推論時のみに反復処理を行う従来手法と比較して、収束速度と最終的なノイズ除去品質が向上するか？
• RQ2 固定されたターゲットではなく、トレーニング中に適応的グランドトゥルースターゲットを使用することで、より良い一般化性能とクリーンな表面へのより速い収束が達成されるか？
• RQ3 表面が密に近接した複雑な形状において、既存のバイラテラルフィルタリングベース手法で知られる表面の崩壊問題に対して、IterativePFNはどのように性能を発揮するか？
• RQ4 グランドトゥルースが入手できない実世界のノイズの多いスキャンにおいて、定性的および定量的指標に基づいて、本手法が優れた性能を発揮するか？
• RQ5 IterationModulesの数が最終的なノイズ除去性能および収束挙動に与える影響は何か？

主な発見

• Kinect v1 および v2 データセットにおいて、IterativePFNは Chamfer Distance (CD) で最高、Point2Mesh (P2M) で2番目に高いスコアを達成し、Pointfilter や ScoreDenoise を含むすべてのベースラインを上回った。
• RueMadame 実スキャンデータセットにおいて、IterativePFNはアーティファクトが最小限で、看板や車体の屋根といった細かな構造を正確に保持する視覚的に優れた結果を生成した。一方、PDFlow や ScoreDenoise は大きな外れ値を残していた。
• アブレーションスタディでは、特に高いノイズ条件下において、固定グランドトゥルースターゲットと比較して、適応的グランドトゥルースターゲット損失が収束速度と最終的性能を顕著に向上させた。
• 図1に示すように、4つの IterationModules（4 ItMs）を用いた手法は、24回の推論時反復を要する ScoreDenoise よりもクリーンな表面への収束が速く、より多くの点がクリーンな表面に近づいていた。
• Pointfilter が重み付きバイラテラル損失により近くの表面を崩壊させるのとは異なり、IterativePFN は Casting 形状のような複雑な形状においても表面の崩壊を回避した。
• OPPP戦略に依存する Pointfilter よりも高い効率を維持しており、1点あたり1パッチ戦略による高い計算コストに苦しむ手法よりも高速な推論を実現した。