[論文レビュー] Patch-based Progressive 3D Point Set Upsampling

Yifan Wang, Shihao Wu+3 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Vision and Imaging参考文献 47被引用数 38

ひとこと要約

本稿では、エンドツーエンドで訓練されたマルチスケールでパッチに敏感なサブネットワークのカスケードを用いて、局所的受容 field の適応的拡大と、密接接続やバイラテラル特徴補間といったアーキテクチャ的革新を経て、幾何的詳細の回復を向上させる、パッチベースのプログレッシブな3次元点群アップサンプリングネットワークを提案する。この手法により、スパarsな入力やノイズが多い入力に対しても、細粒度の表面詳細を再構築する上で最先端の性能を達成する。

ABSTRACT

We present a detail-driven deep neural network for point set upsampling. A high-resolution point set is essential for point-based rendering and surface reconstruction. Inspired by the recent success of neural image super-resolution techniques, we progressively train a cascade of patch-based upsampling networks on different levels of detail end-to-end. We propose a series of architectural design contributions that lead to a substantial performance boost. The effect of each technical contribution is demonstrated in an ablation study. Qualitative and quantitative experiments show that our method significantly outperforms the state-of-the-art learning-based and optimazation-based approaches, both in terms of handling low-resolution inputs and revealing high-fidelity details.

研究の動機と目的

• 実世界のスキャンで一般的なスパarsかつノイズの多い3次元点群から高忠実度の幾何的詳細を再構築するという課題に対処すること。
• 既存の学習ベースおよび最適化ベースの手法が、大規模構造と細粒度構造の両方を保持する点で抱える限界を克服すること。
• 適応的パッチベースのサブネットワークを用いることで、パrameter数の指数的増加を伴わずに、高比率のアップサンプリングネットワークのエンドツーエンド学習を可能にすること。
• 新規なアーキテクチャ的要素により、特徴抽出、特徴拡張、および階層間特徴伝搬を改善すること。

提案手法

• 各段階が特定の幾何的詳細レベルに焦点を当てたパッチベースのサブネットワークを用いる、マルチステージでプログレッシブなアップサンプリングパイプラインを採用する。
• 各サブネットワークは、受容 field のサイズが減少するに従い、空間的スパンを適応的に変更する局所パッチを処理し、局所幾何の集中学習を可能にする。
• 局所的近傍における特徴表現を強化するために、ポイントワイドな特徴抽出のための密接接続を導入する。
• 標準的な逆畳み込みとは異なり、低解像度から高解像度への特徴の効率的拡張を実現するため、コード割り当てを用いる。
• 段階間での特徴伝搬を向上させ、階層間特徴の一貫性と詳細伝達を改善するために、バイラテラル特徴補間を提案する。
• ネットワーク全体を、直前の段階の出力を用いて段階的に学習するプログレッシブなエンドツーエンド訓練法で訓練する。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブでパッチベースのアーキテクチャは、スパarsな入力からの細粒度幾何的詳細再構築において、単一段階の学習ベース手法を上回ることができるか？
• RQ2 受容 field のスケールに基づく適応的パッチサイズは、固定サイズまたはグローバル処理と比較して、どのように詳細回復を向上させるか？
• RQ3 密接接続やコード割り当てといったアーキテクチャ的革新は、性能向上とパrameter効率性の向上にどの程度寄与するか？
• RQ4 本手法は、最先端のアプローチと比較して、実世界の3次元スキャンにおけるノイズやスパarsityに対してどの程度頑健であるか？

主な発見

• 提案手法は、PU-Net や EC-Net などの最先端の学習ベース手法と比較して、定量的指標および定性的な詳細回復性において顕著に優れており、特に低解像度およびノイズの多い入力において顕著な優位性を示す。
• アブレーションスタディにより、パッチベース処理を伴うプログレッシブ訓練が、直接的な16倍アップサンプリングや反復的単一段階訓練と比較して、より優れた幾何的忠実度を達成することが確認された。
• ノイズやスパarsityに対して優れた頑健性を示し、50％の点削除や最大2％のガウスノイズが加えられた状況でも、高品質な出力を維持した。
• 密接接続、コード割り当て、バイラテラル特徴補間の統合により、明確な性能向上とパrameter効率性の向上が得られた。
• Intel RealSense SR300 からの実世界スキャンにおいて、WLOP を用いた事前処理でノイズ低減を行った後、クリアで高密度かつ詳細な点群を効果的に回復した。