[論文レビュー] Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning

Pedro Hermosilla, Tobias Ritschel+1 more|arXiv (Cornell University)|Apr 16, 2019

Optical measurement and interference techniques参考文献 29被引用数 26

ひとこと要約

本論文は、クリーンなデータやペアドノイシー・クリーン例を必要とせず、単一のノイジーサンプルから直接学習する非教師あり深層学習手法を提案する。空間的近接性と外観に基づく事前知識を自己教師学習型ノイズ除去ネットワークに組み込むことで、同じ量の学習データを用いても教師あり手法と同等の性能を達成し、実世界およびシミュレートされたデータにおいて、非教師ありベースラインおよび一部の教師あり手法を上回る性能を発揮する。

ABSTRACT

We show that denoising of 3D point clouds can be learned unsupervised, directly from noisy 3D point cloud data only. This is achieved by extending recent ideas from learning of unsupervised image denoisers to unstructured 3D point clouds. Unsupervised image denoisers operate under the assumption that a noisy pixel observation is a random realization of a distribution around a clean pixel value, which allows appropriate learning on this distribution to eventually converge to the correct value. Regrettably, this assumption is not valid for unstructured points: 3D point clouds are subject to total noise, i. e., deviations in all coordinates, with no reliable pixel grid. Thus, an observation can be the realization of an entire manifold of clean 3D points, which makes a naïve extension of unsupervised image denoisers to 3D point clouds impractical. Overcoming this, we introduce a spatial prior term, that steers converges to the unique closest out of the many possible modes on a manifold. Our results demonstrate unsupervised denoising performance similar to that of supervised learning with clean data when given enough training examples - whereby we do not need any pairs of noisy and clean training data.

研究の動機と目的

• クリーンな真値データやペアドノイシー・クリーン例を必要とせずに3次元点群のノイズ除去を可能にすること。
• 2次元画像とは異なり、空間座標と外観の両方が損なわれる「完全ノイズ」の課題に立ち向かうこと。
• 点群が持つ固有の構造を空間的および外観的事前知識を用いて活用する自己教師学習フレームワークを開発すること。
• 十分な学習データが利用可能な場合、非教師ありノイズ除去が教師あり手法と同等またはそれを上回ることを実証すること。
• データ再サンプリング戦略を用いて、既存の教師ありノイズ除去器を非教師あり動作に即座にアップグレード可能にするプラグアンドプレイな手法を提供すること。

提案手法

• ノイジーサンプルを入力として、同じ入力からクリーンな点群座標を回帰予測する深層ニューラルネットワークを訓練する。Noise2Voidと同様の「ブラインドスポット」アーキテクチャを採用する。
• 空間的近接性事前知識を導入し、元の表面多様体上の最も近い有効な点へネットワークの学習を誘導することで、完全ノイズによる曖昧性を解消する。
• 色情報も optionally 組み込むことで、局所的な強度または色の整合性を活用し、予測値をさらに精緻化する外観ベースの事前知識を用いる。
• 予測値と入力点のL2距離を最小化する再構成損失を用いて、ネットワークをエンドツーエンドに訓練する。この際、事前知識は損失関数に埋め込まれる。
• アーキテクチャに依存しないアプローチであり、入力をクリーンなデータであるかのように再サンプリングすることで、任意の教師ありノイズ除去器に適用可能で、非教師あり微調整が可能である。
• スケーラブルで効率的であり、反復的リファインメントを経ずに、一度の順伝播で大規模な点群を処理できる。

実験結果

リサーチクエスチョン

• RQ1 ノイジーサンプルのみを用いて、3次元点群のノイズ除去を非教師ありで効果的に学習可能か？
• RQ2 すべての座標が損なわれる「完全ノイズ」の状況下で、自己教師学習が生じる曖昧性はどのように解消できるか？
• RQ3 空間的および外観的事前知識は、非教師ありノイズ除去性能向上にどのような役割を果たすか？
• RQ4 同じ量の学習データが与えられた場合、非教師ありノイズ除去手法が教師あり手法を上回ることは可能か？
• RQ5 アーキテクチャや教師信号スキームを変更せずに、教師ありノイズ除去器を非教師ありにアップグレードすることは可能か？

主な発見

• ガウスノイズを含むシミュレートデータにおいて、本手法は平均誤差0.329を達成し、同じ学習データ量（1200万点）を用いた教師ありベースラインを上回った。
• 高度なシミュレートスキャナーノイズにおいて、空間的および外観的事前知識を併用した本手法（フルバージョン）は平均誤差0.329を達成し、平均フィルタ（0.393）やバイラテラルフィルタ（0.362）といった非教師ありベースラインを著しく上回った。
• アブレーションスタディの結果、空間的事前知識を除去すると単純なフィルタと同等の性能に低下することが示され、多様体の曖昧性解消においてその重要性が裏付けられた。
• 外観的事前知識を組み込むことで、ノイズタイプ、データ量、ノイズレベルにかかわらず一貫して性能が向上し、教師あり手法と同等またはそれを上回る結果が得られた。
• 実世界のモバイルレーザースキャニングデータ（Paris-rue-Madame）において、真値が存在しない状況下でも、ノイズを効果的に除去し、鋭いエッジと均一なサンプリングを保持した。
• 既存の教師ありノイズ除去器（例：PointCleanNet）を、アーキテクチャ変更なしに非教師ありにアップグレード可能であり、わずかに優れた性能（誤差1.34 vs. 1.36）を達成した。