[論文レビュー] 3DMatch: Learning the Matching of Local 3D Geometry in Range Scans.

Andy Zeng, Shuran Song+3 more|arXiv (Cornell University)|Mar 27, 2016

Robotics and Sensor-Based Localization参考文献 2被引用数 60

ひとこと要約

3DMatchは、キーポoin位置周辺の蓄積距離場を用いて、現実世界の3Dスキャンから幾何的特徴表現とメトリック関数を同時に学習する深層学習アプローチを提案する。ノイズが強く、部分的な3Dデータのマッチングにおいて最先端の手法を上回り、3D再構築のスパarsa bundle adjustmentにおけるロバスト性を向上させる。

ABSTRACT

Establishing correspondences between 3D geometries is essential to a large variety of graphics and vision applications, including 3D reconstruction, localization, and shape matching. Despite significant progress, geometric matching on real-world 3D data is still a challenging task due to the noisy, low-resolution, and incomplete nature of scanning data. These difficulties limit the performance of current state-of-art methods which are typically based on histograms over geometric properties. In this paper, we introduce 3DMatch, a data-driven local feature learner that jointly learns a geometric feature representation and an associated metric function from a large collection of real-world scanning data. We represent 3D geometry using accumulated distance fields around key-point locations. This representation is suited to handle noisy and partial scanning data, and concurrently supports deep learning with convolutional neural networks directly in 3D. To train the networks, we propose a way to automatically generate correspondence labels for deep learning by leveraging existing RGB-D reconstruction algorithms. In our results, we demonstrate that we are able to outperform state-of-the-art approaches by a significant margin. In addition, we show the robustness of our descriptor in a purely geometric sparse bundle adjustment pipeline for 3D reconstruction.

研究の動機と目的

• ノイズが多く、低解像度で不完全な現実世界のレンジスキャンにおける局所3D幾何のマッチングという課題に対処する。
• ヒストグラムベースの手法の限界を克服し、3Dデータから直接データ駆動型の幾何的記述子を学習する。
• 深層ニューラルネットワークを用いて、特徴表現とマッチングメトリックのエンドツーエンド学習を可能にする。
• 既存のRGB-D再構築パイプラインを用いて、対応ラベルを自動で生成するトレーニング戦略を開発する。
• 特にスパarsa bundle adjustmentにおいて、下流の3D再構築タスクにおけるロバスト性と正確性を向上させる。

提案手法

• キーポイント位置を中心に距離場を蓄積して3D幾何を表現し、ノイズや部分的データに対してもロバスト性を確保する。
• 3D畳み込みニューラルネットワークを用いて、3D空間における距離場表現を直接処理し、特徴学習を実行する。
• 既存のRGB-D再構築アルゴリズムから生成された自己教師付き対応ラベルを用いてネットワークをトレーニングする。
• 特徴埋め込みとメトリック関数を同時に最適化し、実スキャンデータにおけるマッチングパフォーマンスを向上させる。
• 手動アノテーションなしで一般化可能な幾何的特徴を学習できるよう、大規模な実世界スキャンデータを活用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、ノイズや不完全性を含む実世界の3Dスキャンから、効果的な局所幾何的特徴を直接学習できるか？
• RQ2 共同で学習された特徴表現とメトリック関数は、3Dマッチングにおいて手作業で設計されたヒストグラムベースの記述子を上回るか？
• RQ3 RGB-D再構築パイプラインから自動生成された対応ラベルは、堅牢な3Dマッチングネットワークのトレーニングに十分か？
• RQ4 提案手法は、スパarsa bundle adjustmentを用いた実世界の3D再構築パイプラインでどの程度の性能を示すか？
• RQ5 学習された記述子は、多様なスキャン条件や幾何形状にわたってどの程度一般化可能か？

主な発見

• 3DMatchは、実世界スキャンデータにおける局所3D特徴マッチングにおいて、最先端の手法を顕著に上回る。
• 蓄積距離場の使用により、ノイズ、低解像度、部分的観測に対してもロバストな特徴学習が可能である。
• スパarsa bundle adjustmentパイプラインにおいて優れたパフォーマンスを発揮し、3D再構築の正確性を向上させる。
• RGB-D再構築アルゴリズムから得た対応ラベルを用いた自己教師付きトレーニングにより、手動アノテーションなしで効果的な学習が可能である。
• 共同で学習されたメトリック関数により、特に幾何的構成が困難な状況でもマッチングの信頼性が向上する。