[論文レビュー] NormalNet: Learning based Guided Normal Filtering for Mesh Denoising.

Wenbo Zhao, Xianming Liu+3 more|arXiv (Cornell University)|Mar 10, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 11

ひとこと要約

NormalNetは、限られた実データを補うために反復的データ生成フレームワークを用いる深層学習ベースの3Dメッシュノイズ除去手法を提案する。ボクセル化された局所メッシュ構造における有効なCNN学習を可能にする。最先端の手法と比較して、特徴を保持し、偽の特徴を低減した高精細なノイズ除去を実現する。

ABSTRACT

Mesh denoising is a critical technology in geometry processing, which aims to recover high-fidelity 3D mesh models of objects from noise-corrupted versions. In this work, we propose a deep learning based face normal filtering scheme for mesh denoising, called extit{NormalNet}. Different from natural images, for mesh, it is difficult to collect enough examples to build a robust end-to-end training scheme for deep networks. To remedy this problem, we propose an iterative framework to generate enough face-normal pairs, based on which a convolutional neural networks (CNNs) based scheme is designed for guidance normal learning. Moreover, to facilitate the 3D convolution operation in CNNs, for each face in mesh, we propose a voxelization strategy to transform irregular local mesh structure into regular 4D-array form. Finally, guided normal filtering is performed to obtain filtered face normals, according to which denoised positions of vertices are derived. Compared to the state-of-the-art works, the proposed scheme can generate accurate guidance normals and remove noise effectively while preserving original features and avoiding pseudo-features.

研究の動機と目的

• 3次元メッシュノイズ除去における深層ネットワーク学習のための、実世界のノイズありからクリーンなメッシュペアが限られているという課題に対処する。
• 強固なCNN学習に十分な面法線ペアを生成するためのデータ拡張戦略を開発する。
• 局所メッシュ面の不規則な構造に対して有効な3次元畳み込み演算を可能にする、新しいボクセライゼーション技術を通じて、3次元メッシュ面への有効な処理を実現する。
• 幾何的特徴を保持し、アーチファクトを導入しない正確なガイド法線を学習することで、ノイズ除去性能を向上させる。
• 強化された特徴忠実度と偽の特徴の低減を実現し、メッシュノイズ除去分野で最先端の結果を達成する。

提案手法

• クリーンメッシュからノイズ付与をシミュレートすることで、実際のノイズありからクリーンな面法線ペアを反復的に合成するフレームワークを提案し、学習データを拡張する。
• 不規則な局所メッシュ近傍を、3次元CNN処理に適した正規の4次元配列に変換するボクセライゼーション戦略を設計する。
• 生成された合成データを用いて、ノイズ入力から洗練された面法線を予測するCNNベースのガイドネットワークを学習する。
• 予測された法線を用いたガイド付き法線フィルタリングにより、元のメッシュ幾何構造を保持したまま、ノイズ除去された頂点位置を計算する。
• 学習された法線フィルタリングを、鋭い特徴を維持し、誤ったエッジを生じさせないメッシュノイズ除去パイプラインに統合する。
• 局所メッシュ構造の変動に対して不変である3次元CNNの性質を、局所幾何構造の構造的ボクセル表現を通じて活用する。

実験結果

リサーチクエスチョン

• RQ1 反復的データ生成フレームワークは、深層ネットワーク学習のための現実的でリアルなノイズありからクリーンな面法線ペアを効果的にシミュレートできるか？
• RQ2 局所メッシュ近傍のボクセライゼーションは、法線予測のための3次元CNNにおける有効な畳み込み演算をどのように可能にするか？
• RQ3 CNNベースのガイドネットワークは、従来手法と比較して、どの程度法線フィルタリングの正確性を向上させられるか？
• RQ4 提案手法は、ノイズ除去中に微細な幾何的ディテールを保持し、偽の特徴を導入しないか？
• RQ5 既存の最先端のメッシュノイズ除去技術と比較して、NormalNetは性能と特徴忠実度の面でどの程度優れているか？

主な発見

• 反復的データ生成フレームワークは、実際のデータが限られているにもかかわらず、多様で現実的である面法線ペアを効果的に生成し、CNNの強固な学習を可能にした。
• ボクセライゼーション戦略は、不規則な局所メッシュ構造を正規の4次元配列に効果的に変換し、効率的な3次元CNN処理を可能にした。
• CNNベースのガイドネットワークは、元のメッシュ幾何構造に整合する正確で滑らかな面法線を学習して予測した。
• 予測された法線を用いたガイド付き法線フィルタリングにより、元の特徴を保持する高品質な頂点位置更新が実現した。
• 偽の特徴の導入を最小限に抑える一方で、ノイズ除去精度において最先端の手法を上回った。
• 複雑でノイズの多いメッシュモデルに対しても、幾何的忠実度と元の特徴の鋭さを維持した。