[論文レビュー] PlaneMatch: Patch Coplanarity Prediction for Robust RGB-D Reconstruction

Yifei Shi, Kai Xu+3 more|arXiv (Cornell University)|Mar 22, 2018

Industrial Vision Systems and Defect Detection被引用数 11

ひとこと要約

本稿では、RGB-D画像のパッチ同士の同一平面上にあるかどうかを事前のアライメントを必要とせずに予測する深層学習ベースのパッチ記述子であるPlaneMatchを提案する。ScanNetから抽出した1000万組の同一平面上にある・ないパッチトリプレットを用いて訓練されたCNNを用い、RGB-D再構成における頑健な長距離ループ閉じ込み検出を実現する。TUM RGB-Dベンチマークにおいてベースライン手法を著しく上回り、キーポイントマッチングと組み合わせることで、低被覆率のシーンでも正確な再構成を可能にする。

ABSTRACT

We introduce a novel RGB-D patch descriptor designed for detecting coplanar surfaces in SLAM reconstruction. The core of our method is a deep convolutional neural net that takes in RGB, depth, and normal information of a planar patch in an image and outputs a descriptor that can be used to find coplanar patches from other images.We train the network on 10 million triplets of coplanar and non-coplanar patches, and evaluate on a new coplanarity benchmark created from commodity RGB-D scans. Experiments show that our learned descriptor outperforms alternatives extended for this new task by a significant margin. In addition, we demonstrate the benefits of coplanarity matching in a robust RGBD reconstruction formulation.We find that coplanarity constraints detected with our method are sufficient to get reconstruction results comparable to state-of-the-art frameworks on most scenes, but outperform other methods on standard benchmarks when combined with a simple keypoint method.

研究の動機と目的

• 低被覆率や特徴が乏しい環境においても、RGB-Dスキャンにおける同一平面な表面を頑健に検出する課題に対処すること。
• 非被覆パッチ同士の長距離同一平面制約を検出することで、グローバルかつアドホックな再構成を可能にすること。
• 自己教師付き学習を用いて、RGB、深度、法線データから同一平面性を予測する判別性の高いパッチ記述子を開発すること。
• 頑健な最適化フレームワークに同一平面性制約を統合することで、グローバルなRGB-D登録を向上させること。

提案手法

• 平面的なRGB-Dパッチ（色、深度、法線情報を含む）を、L2距離が同一平面性を予測する記述子空間にマップするための深層畳み込みニューラルネットワークを訓練する。
• ScanNetスキャンから抽出した1000万組の同一平面・非同一平面パッチトリプレットを用いて、自己教師付きの方法でネットワークを訓練する。
• スケールを複数用いた文脈的特徴の統合により、視点や照明の変化に対して一般化性と頑健性を向上させる。
• 実世界のRGB-Dスキャンを用い、真値の同一平面性ラベルを備えた、学習および評価用の新しい同一平面性ベンチマークを導入する。
• 同一平面性制約を頑健な最適化フレームワークに統合し、既存手法に平面アライメントの事前知識を拡張する。
• 学習された同一平面マッチングと従来のキーポイントベースの対応を組み合わせることで、困難なシーンにおけるポーズ推定を改善する。

実験結果

リサーチクエスチョン

• RQ1 初期アライメントを必要とせずに、深層ニューラルネットワークがRGB-Dパッチ間の同一平面性を予測する判別性の高い記述子を学習できるか？
• RQ2 大規模な屋内シーンにおいて、非被覆視点間で長距離の同一平面マッチングを検出する能力はどの程度効果的か？
• RQ3 同一平面性制約が単体で、またはキーポイントと組み合わせて、標準ベンチマーク上でのグローバルRGB-D再構成精度を向上させられるか？
• RQ4 提案手法の性能は、最先端のキーポイントベースおよび平面構造ベースの再構成フレームワークと比較してどの程度か？

主な発見

• PlaneMatchは、TUM RGB-Dの最初の3つのシーケンスで最先端のATE RMSEを達成し、キーポイントのみまたは平面構造のみの手法を上回った。
• 被覆率が低い困難なシーケンスでは、ATE RMSEを最大40％まで低減し、長距離同一平面マッチングの価値を示した。
• BundleFusionのキーポイントマッチングと組み合わせた場合、すべてのTUMシーケンスで最高の全体的性能を達成した。
• アブレーションスタディにより、学習された記述子が不可欠であることが確認され、その欠如したバージョンは著しく性能が劣った。
• 可視化結果から、PlaneMatchは非被覆のループ閉じ込み（例：床タイル、壁パネル）を正常に検出でき、キーポイントベース手法が失敗する場面でも再構成を可能にした。
• 長距離同一平面ペアは再構成品質に大きく寄与しており、特に大規模なシーンでは顕著で、ヒストグラム解析から最適化プロセスを通しても高い生存率を示した。