[論文レビュー] NormalNet: Learning-based Normal Filtering for Mesh Denoising

Wenbo Zhao, Xianming Liu+3 more|arXiv (Cornell University)|Mar 10, 2019

3D Shape Modeling and Analysis参考文献 27被引用数 9

ひとこと要約

NormalNetは、従来のガイド付き法線フィルタリングを置き換える畳み込みニューラルネットワーク（CNN）を用いて、ボクセル化された局所メッシュ構造を処理する深層学習ベースの法線フィルタリングフレームワークを提案する。ノイズ除去と特徴保持の両面で最先端の性能を達成しており、特に鋸歯状や段階的ノイズ（ステアリング）アーチファクトを含む複雑なノイズタイプを示すスキャンメッシュにおいて顕著である。

ABSTRACT

Mesh denoising is a critical technology in geometry processing that aims to recover high-fidelity 3D mesh models of objects from their noise-corrupted versions. In this work, we propose a learning-based normal filtering scheme for mesh denoising called NormalNet, which maps the guided normal filtering (GNF) into a deep network. The scheme follows the iterative framework of filtering-based mesh denoising. During each iteration, first, the voxelization strategy is applied on each face in a mesh to transform the irregular local structure into the regular volumetric representation, therefore, both the structure and face normal information are preserved and the convolution operations in CNN(Convolutional Neural Network) can be easily performed. Second, instead of the guidance normal generation and the guided filtering in GNF, a deep CNN is designed, which takes the volumetric representation as input, and outputs the learned filtered normals. At last, the vertex positions are updated according to the filtered normals. Specifically, the iterative training framework is proposed, in which the generation of training data and the network training are alternately performed, whereas the ground truth normals are taken as the guidance normals in GNF to get the target normals. Compared to state-of-the-art works, NormalNet can effectively remove noise while preserving the original features and avoiding pseudo-features.

研究の動機と目的

• スキャナーノイズによって汚染された3次元メッシュのノイズ除去を同時に、微細な幾何的特徴を保持する課題に対処すること。
• 複雑な構造や高ノイズレベルに対して困難を示す既存のガイド付き法線フィルタリング手法の限界を克服すること。
• 局所メッシュ幾何を規則的なボリューム表現に変換することで、不規則なメッシュデータに対する有効な深層学習を可能にすること。
• データ生成とネットワーク学習を交互に繰り返す反復的トレーニングフレームワークを構築し、頑健性と一般化性能を向上させること。
• 未知のノイズ特性を示すスキャンメッシュ、特に鋸歯状や不規則なノイズパターンを含むものにおいて、優れたノイズ除去性能を達成すること。

提案手法

• メッシュの各メッシュ面に対してボクセル化を適用し、不規則な3次元局所構造を規則的な3次元ボリューム表現に変換することで、効率的な3次元CNN処理を可能にする。
• 3つの残差ブロック、1つのマックスプーリング層、および4つの全結合層を備えた深層CNNを設計し、ボクセル化された入力からフィルタリング済みの面法線を予測する。
• CNNを反復的メッシュノイズ除去フレームワークに統合し、各反復で予測されたフィルタリング済み法線に基づいて頂点位置を更新する。
• 教師ありノイズ除去のための反復的トレーニング戦略を提案し、GPF処理におけるガイド法線として真値法線を用いてターゲット法線を生成し、ネットワークをエンドツーエンドで学習する。
• トレーニング中に真値法線を監視信号として活用することで、高ノイズレベル下でも正確なフィルタリング法線を生成できるようにネットワークが学習できる。
• ボクセル化とCNNベースのフィルタリングを通じて、構造的および法線情報の両方を保持することで、特徴の一貫性とノイズ抑制を確保する。

実験結果

リサーチクエスチョン

• RQ1 ボクセル化された局所幾何に適用された深層CNNは、3次元メッシュ内のノイズの多い面法線を効果的にフィルタリングできるか？
• RQ2 従来のガイド付き法線フィルタリングと比較して、本手法のNormalNetは微細な幾何的特徴をどれほど効果的に保持し、偽の特徴を回避できるか？
• RQ3 反復的トレーニングフレームワークは、多様なスキャンメッシュデータに対して、法線フィルタリングネットワークの頑健性と一般化性能をどの程度向上できるか？
• RQ4 鋸歯状や段階的ノイズアーチファクトといった実世界のスキャンメッシュに一般的な困難なノイズタイプに対し、本手法は効果的に対処できるか？
• RQ5 ボクセル化ベースの表現は、不規則なメッシュデータに対して有効な3次元CNN処理を可能にすると同時に、幾何的忠実性を維持できるか？

主な発見

• NormalNetは、GNF、GGNF、CNRといった最先端手法を上回り、特に複雑なノイズを示すスキャンメッシュにおいて鋭いエッジや小スケール特徴の保持に優れている。
• 鋸歯状ノイズを示すスキャンモデルPierrotにおいて、GNFとGGNFが信頼性の低いガイド法線推定により偽の特徴を生成するのに対し、NormalNetはそのような偽特徴を回避している。
• RocketarmおよびAngelモデルにおいて、CNRは高ノイズ複雑度領域でエッジを過剰に平滑化するのに対し、NormalNetはより少ない偽特徴を生成している。
• レーザースキャンモデル（Eagle, Gargoyle, BallJoint）との比較において、VTよりも優れた特徴回復性能を示しており、高品質だが複雑なスキャンデータに対しても頑健であることが確認された。
• Microsoft Kinect V1/V2で生成されたモデルにおいて、Cone04V1では他の手法がノイズを効果的に除去できない中、NormalNetが最良の平滑化結果を達成した。
• 定量的評価では、NormalNetがすべての手法の中で真値に最も近いエッジ長を達成しており、優れた幾何的忠実性の維持が示された。