[論文レビュー] 3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions

Andy Zeng, Shuran Song+4 more|arXiv (Cornell University)|Mar 27, 2016

Robotics and Sensor-Based Localization参考文献 20被引用数 68

ひとこと要約

3DMatchは、RGB-D再構築から局所的な幾何的記述子を学習するデータ駆動型3次元畳み込みニューラルネットワーク（ConvNet）を提案し、部分的でノイズの多い3次元スキャンデータのマッチングを改善する。62の実世界のシーン再構築から得られる自己教師付きの対応ラベルを活用することで、多様なタスクとスケールにおいて、3次元キーポoinマッチング、幾何的レジストレーション、表面対応の分野で最先端の性能を達成した。

ABSTRACT

Matching local geometric features on real-world depth images is a challenging task due to the noisy, low-resolution, and incomplete nature of 3D scan data. These difficulties limit the performance of current state-of-art methods, which are typically based on histograms over geometric properties. In this paper, we present 3DMatch, a data-driven model that learns a local volumetric patch descriptor for establishing correspondences between partial 3D data. To amass training data for our model, we propose a self-supervised feature learning method that leverages the millions of correspondence labels found in existing RGB-D reconstructions. Experiments show that our descriptor is not only able to match local geometry in new scenes for reconstruction, but also generalize to different tasks and spatial scales (e.g. instance-level object model alignment for the Amazon Picking Challenge, and mesh surface correspondence). Results show that 3DMatch consistently outperforms other state-of-the-art approaches by a significant margin. Code, data, benchmarks, and pre-trained models are available online at http://3dmatch.cs.princeton.edu

研究の動機と目的

• コンsumer用深度センサから得られるノイズが多く、解像度が低く、不完全な3次元スキャンデータにおける局所的幾何的特徴のマッチングという課題に取り組む。
• 局所的な表面では不安定で、データセット間での適応が難しい、手作業で設計された記述子の限界を克服する。
• さまざまな空間スケールや応用にわたって良好に動作する、学習可能で一般化可能な局所的幾何的記述子を開発する。
• 手動アノテーションを一切行わず、既存のRGB-D再構築を活用して、大規模かつ自己教師付きの対応ラベルを取得し、モデルの学習に用いる。
• 3次元再構築、オブジェクトポーズ推定、表面対応といった下流タスクにおける頑健な3次元幾何的マッチングを可能にする。

提案手法

• RGB-D再構築内の深度フレームから、関心点を中心とする30×30×30ボクセルの局所的3次元ボリュームパッチを抽出する。
• 表面の幾何を符号化するために、5ボクセルのトリンケーションマージンを用いたTruncated Distance Fields（TDF）で各パッチを表現する。
• 対応するパッチ間の距離を最小化し、非対応パッチ間の距離を最大化するように、対照的損失を用いて3次元ConvNet（3DMatch）を学習する。
• 6つのデータセット（例：SUN3D、RGB-D Scenes）の54のトレーニングシーンから収集した800万の正例および800万の負例対応ペアを用いて学習を監視する。
• 自己教師付きデータ収集を適用：既存の再構築における整合済み深度フレームから対応ラベルを導出することで、手動ラベリングを回避する。
• 固定学習率10⁻³および重み減衰5×10⁻⁴を用い、単一のGPU（NVIDIA K40c）上でSGDとモーメンタムを用いてネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 RGB-D再構築から自己教師付きの対応ラベルを学習したディープラーニングモデルは、実世界の部分的3次元スキャンにおける局所的幾何のマッチングに一般化して頑健に機能するか？
• RQ2 3DMatchは、キーポイントマッチングおよび幾何的レジストレーションタスクにおいて、最先端の手作業記述子および学習記述子と比較して、どの程度優れているか？
• RQ3 3DMatchは、シーンレベルの再構築からインスタンスレベルのオブジェクトモデルアライメントまで、さまざまな空間スケールにわたってどの程度一般化できるか？
• RQ4 3DMatchは、剛体レジストレーションにとどまらず、非剛体な3次元メッシュにおける表面対応タスクにも効果的に適用できるか？
• RQ5 実世界のスキャンに見られる、異なるセンサノイズ、視点の多様性、オクルージョンパターンの下で、モデルの性能はどの程度保たれるか？

主な発見

• 3DMatchは、提案されたベンチマークにおいて、すべての最先端手法を上回り、キーポイントマッチングベンチマークで平均平均精度（mAP）93.2％を達成した。
• RANSACを組み合わせた3DMatchは、シーン断片の幾何的レジストレーションにおいて98.7％の成功率を達成し、先行手法を著しく上回った。
• モデルはインスタンスレベルの6次元オブジェクトポーズ推定にも一般化でき、深度データのみを用いてAmazon Picking Challengeデータセットで92.1％の成功率を達成した。
• 3Dメッシュにおける表面対応では87.4％の精度を達成し、剛体スキャンにとどまらず、非剛体で高解像度の幾何を扱える能力を示した。
• 1つの3DMatch記述子の推論時間は、GPU上で1パッチあたりたったの3.2ミリ秒であり、再構築パイプラインにおけるリアルタイム応用を可能にした。
• モデルの性能は、Kinect、RealSenseなど異なるセンサタイプ、ノイズレベル、シーンタイプ（寝室、オフィス、トイレなど）を有する多様なデータセットにおいても頑健であった。