[論文レビュー] Pointfilter: Point Cloud Filtering via Encoder-Decoder Modeling

Dongbo Zhang, Xuequan Lu+2 more|arXiv (Cornell University)|Feb 14, 2020

3D Shape Modeling and Analysis参考文献 24被引用数 10

ひとこと要約

Pointfilter は、エンコーダ・デコーダアーキテクチャを用いた深層学習ベースの点群フィルタリング手法を提案する。ノイズを自動で除去しながら鋭い幾何的特徴を保持する。局所的な点群の近傍から変位ベクトルを学習することで、手動によるパrameterチューニングを必要とせず、視覚的品質および定量的指標において最先端の性能を達成する。

ABSTRACT

Point cloud filtering is a fundamental problem in geometry modeling and processing. Despite of significant advancement in recent years, the existing methods still suffer from two issues: 1) they are either designed without preserving sharp features or less robust in feature preservation; and 2) they usually have many parameters and require tedious parameter tuning. In this paper, we propose a novel deep learning approach that automatically and robustly filters point clouds by removing noise and preserving their sharp features. Our point-wise learning architecture consists of an encoder and a decoder. The encoder directly takes points (a point and its neighbors) as input, and learns a latent representation vector which goes through the decoder to relate the ground-truth position with a displacement vector. The trained neural network can automatically generate a set of clean points from a noisy input. Extensive experiments show that our approach outperforms the state-of-the-art deep learning techniques in terms of both visual quality and quantitative error metrics. The source code and dataset can be found at https://github.com/dongbo-BUAA-VR/Pointfilter.

研究の動機と目的

• 既存の点群フィルタリング手法が鋭い特徴を保持できない、または広範なパrameterチューニングを要するという限界を解消すること。
• 幾何的忠実度を維持しながらノイズ除去を自動で学習するエンド・ツー・エンドの深層学習フレームワークを開発すること。
• 局所的な近傍情報を活用するポイントワイズ学習アーキテクチャを設計し、特徴の強固な保持を実現すること。
• トレーニングを通じて最適なフィルタリングを学習することで、手動によるハイパーパrameter調整への依存度を低減すること。
• 最先端の技術と比較して、視覚的品質および定量的誤差指標の両面で優れた性能を達成すること。

提案手法

• 本手法は、エンコーダが点とその近傍点を処理して潜在表現を生成するエンコーダ・デコーダニューラルネットワークアーキテクチャを採用する。
• 潜在ベクトルはデコーダを通過し、入力点の位置を真値位置に補正する変位ベクトルを予測する。
• 予測された点位置と真値点位置の差を最小化する損失関数を用いて、エンド・ツー・エンドでネットワークを訓練する。
• 入力特徴は局所的な点群近傍から構築され、局所的な幾何的構造を捉えることができる。
• アーキテクチャは軽量かつ頑健に設計されており、過学習を回避し、手動によるパrameterチューニングの必要を低減する。
• 真値のクリーンなバージョンが与えられた合成ノイズ点群でモデルを訓練することで、実世界のノイズパターンにも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのエンコーダ・デコーダモデルは、点群からのノイズ除去と鋭い幾何的特徴の保持を効果的に行えるか？
• RQ2 定量的誤差指標および視覚的品質の観点から、本手法は既存の最先端のフィルタリング技術と比較してどのように差をつけるか？
• RQ3 再トレーニングや手動によるパrameter調整を要せず、さまざまなノイズタイプとノイズレベルに一般化できる程度はどの程度か？
• RQ4 局所的近傍符号化を用いることで、グローバルまたは非局所的手法と比較して特徴保持が向上するか？
• RQ5 最小限のハイパーパrameterチューニングで高い性能を達成できるか。これにより、実世界の応用における実用性が向上するか？

主な発見

• 提案された Pointfilter メソッドは、ベンチマークデータセット上で、視覚的品質および定量的誤差指標の両面で最先端の深層学習技術を上回る。
• モデルはさまざまなノイズタイプとノイズレベルにおいて頑健な性能を示し、極めて汚染された入力でも鋭い特徴を維持する。
• 手動によるパrameterチューニングの必要を最小限に抑え、実用性を高める高精度な性能を達成する。
• エンコーダ・デコーダフレームワークは、ノイズのある入力からクリーンな幾何構造を回復する変位ベクトルを効果的に学習する。
• 広範なアブレーションスタディにより、局所的近傍符号化が特徴保持およびノイズ除去精度を顕著に向上させることを確認した。
• 合成データおよび実データの両方で妥当性が検証されたことから、本手法は実世界の点群に対しても良好に一般化する。