[論文レビュー] Non-Local Part-Aware Point Cloud Denoising

Chao Huang, Ruihui Li+2 more|arXiv (Cornell University)|Mar 14, 2020

3D Shape Modeling and Analysis参考文献 41被引用数 8

ひとこと要約

本稿では、3次元点群のノイズ除去のための非局所的で部分に注意を払う深層学習フレームワークを提案する。非局所自己類似性をグラフアテンションベースの非局所学習ユニット（NLU）を用いて活用することで、点群全体にわたる意味的に関連する特徴を捉える。NLUsを段階的に連結し、表面再構成に加えて意味的部品損失を導入することで、合成データおよび実スキャンデータの両方で最先端の性能を達成し、ノイズを顕著に低減するとともに、細かな幾何的ディテールを保持し、散乱したアーチファクトを回避する。

ABSTRACT

This paper presents a novel non-local part-aware deep neural network to denoise point clouds by exploring the inherent non-local self-similarity in 3D objects and scenes. Different from existing works that explore small local patches, we design the non-local learning unit (NLU) customized with a graph attention module to adaptively capture non-local semantically-related features over the entire point cloud. To enhance the denoising performance, we cascade a series of NLUs to progressively distill the noise features from the noisy inputs. Further, besides the conventional surface reconstruction loss, we formulate a semantic part loss to regularize the predictions towards the relevant parts and enable denoising in a part-aware manner. Lastly, we performed extensive experiments to evaluate our method, both quantitatively and qualitatively, and demonstrate its superiority over the state-of-the-arts on both synthetic and real-scanned noisy inputs.

研究の動機と目的

• 局所的受容場手法が細かな幾何的ディテールを保持できず、散乱ノイズに対処できないという限界を解消すること。
• 遠く離れた領域にわたる長距離的で意味的に関連する特徴をモデル化することで、3次元点群に内在する非局所的自己類似性を活用すること。
• 関連するオブジェクト部品に予測をガイドする部分に注意を払う損失を導入することで、ノイズ除去の忠実度を向上させること。
• 合成データおよび実スキャン点群を含む多様なノイズレベルとデータタイプにわたり、強力な性能を発揮すること。
• アブレーションおよびハイパーパramータ解析を通じて、ノイズ除去性能と計算効率のバランスをとること。

提案手法

• 全点群にわたる文脈に配慮した特徴表現を計算するため、カスタムグラフアテンションモジュールを備えた非局所学習ユニット（NLU）を提案する。
• 複数のNLUsを段階的に連結することで、入力からのノイズを段階的に除去し、階層的な特徴精錬を実現する。
• オブジェクト部品に一致するように予測を正則化する意味的部品損失を導入し、部品に注意を払うノイズ除去を強化する。
• 意味的部品損失と標準的な表面再構成損失を組み合わせることで、幾何的忠実度と構造的一致性の両方を同時に最適化する。
• NLU内でのK-NNベースのグラフアテンション機構を採用し、遠く離れたが意味的に類似した点からの寄与を動的に重みづける。
• アブレーションスタディを実施し、コンponentの寄与とハイパーパramータ選択（例：K=16, 4 NLUs）を検証するマルチステージトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 局所的受容場手法を超えて、非局所的で部分に注意を払う特徴学習が点群ノイズ除去を改善できるか？
• RQ2 遠く離れた領域にわたる長距離的で意味的に関連する特徴をモデル化することで、ノイズ除去品質および幾何的ディテール保持にどのような影響を与えるか？
• RQ3 部分に注意を払う損失が、ノイズ除去された点が元のオブジェクト構造とどれほど整合性を保つようになるか？
• RQ4 性能と効率のバランスを考慮した場合、最適なNLUsの数と近傍サイズ（K）は何か？
• RQ5 本手法は、合成データおよび実スキャン点群の両方で最先端のアプローチと比較してどのように優れているか？

主な発見

• 全コンポonent（NLU、部品損失、段階的NLUs）を備えた完全モデルは、1.5%ノイズの合成データにおいて、Chamfer Distance（CD）が2.31 × 10⁻⁴と最低を記録し、すべてのベースラインを上回る性能を示した。
• グラフアテンションユニットを削除すると、すべてのK設定で著しく高いCD値を示し、関連する非局所的特徴の選択においてその重要性が明確になった。
• Kを小さい値から20に増加させると性能が向上し、K=20で収束が確認された。K=16は精度と効率のバランスをとる最適な選択とされた。
• 5つのNLUsを用いることでCDが2.30 × 10⁻⁴（4つの場合：2.31 × 10⁻⁴）にわずかに改善されたが、パラメータ数が55.7K（4つ時：44.6K）に増加したため、4つのNLUsの使用が妥当であると結論づけた。
• PointCleanNet や TotalDenoising よりも散乱アーチファクトを低減し、特にParis-rue-Madameなどの実スキャンデータにおいて鋭いエッジをよりよく保持した。
• アブレーションスタディにより、部分に注意を払う損失とNLUモジュールがそれぞれ独立して性能向上に寄与しており、両方を追加した際の向上が最大であった。