[論文レビュー] Extreme Relative Pose Network under Hybrid Representations

Zhenpei Yang, Siming Yan+1 more|arXiv (Cornell University)|Dec 25, 2019

Robotics and Sensor-Based Localization参考文献 47被引用数 4

ひとこと要約

本稿では、360画像、2次元レイアウト、平面パッチのハイブリッド表現を用いて、部分的または完全に重複のないスキャンにおける相対姿勢推定を可能にする、RGB-Dに特化した新規手法を提案する。この手法により、適応的特徴抽出とシーン補完が実現され、幾何的制約を用いて初期姿勢を段階的に改善するグローバルからローカルへのマッチングパイプラインを採用。ScanNetではトップ1の回転/並進誤差が28.6°/0.90mに達し、最先端性能を達成。また、少数ビューでの3次元再構築品質も顕著に向上。

ABSTRACT

In this paper, we introduce a novel RGB-D based relative pose estimation approach that is suitable for small-overlapping or non-overlapping scans and can output multiple relative poses. Our method performs scene completion and matches the completed scans. However, instead of using a fixed representation for completion, the key idea is to utilize hybrid representations that combine 360-image, 2D image-based layout, and planar patches. This approach offers adaptively feature representations for relative pose estimation. Besides, we introduce a global-2-local matching procedure, which utilizes initial relative poses obtained during the global phase to detect and then integrate geometric relations for pose refinement. Experimental results justify the potential of this approach across a wide range of benchmark datasets. For example, on ScanNet, the rotation translation errors of the top-1/top-5 predictions of our approach are 28.6/0.90m and 16.8/0.76m, respectively. Our approach also considerably boosts the performance of multi-scan reconstruction in few-view reconstruction settings.

研究の動機と目的

• 重複が最小限または完全にないRGB-Dスキャン間の相対姿勢推定の課題に対処すること。従来の特徴マッチングは重複不足のため失敗する。
• スキャン補完のための複数の補完的3次元表現を活用することで、極端な相対姿勢推定のロバスト性と精度を向上させること。
• 曖昧な姿勢推定状況における信頼性を高めるために、複数の仮説を出力可能にする仕組みを提供すること。これにより、実世界のロボティクスおよび再構築応用の信頼性が向上。
• グローバル初期化の後に、ローカルな精練段階で幾何的制約（例：平行性、同一平面上性）を統合することで、姿勢精度を向上させること。

提案手法

• 360画像、2次元レイアウト、平面パッチを組み合わせたハイブリッド表現を用い、不完全または重複のないスキャンを補完。これにより、より豊かで適応的な特徴学習が可能になる。
• 完成したスキャンからの特徴を用いてスペクトルマッチングを適用するグローバルマッチングモジュールを導入し、初期相対姿勢候補を生成。
• ローカル精練モジュールを採用。幾何的関係（例：平行な平面、距離）を検出し、頑健なノルムを用いて統合することで初期姿勢を精練。
• 逐次的なグローバルからローカルへのパイプラインを導入。これにより反復的精練が可能となり、曖昧性をモデル化するための複数の出力姿勢をサポート。
• 少数ビューからの一貫性のあるマルチスキャンアライメントを実現するため、MRF-SFMのポーズ最適化器と統合。
• 不正確な予測に対応するため、摂動を加えたスキャンペアを用いて幾何的関係予測の精度を評価。頑健なフィルタリングにより、不完全な予測に対しても高い性能を維持。

実験結果

リサーチクエスチョン

• RQ1 360画像、2次元レイアウト、平面パッチのハイブリッド3次元表現は、単一表現手法と比較して、重複のないスキャンにおける相対姿勢推定をどの程度改善できるか？
• RQ2 初期姿勢が不確実な状況下で、幾何的制約を用いたグローバルからローカルへのマッチングパイプラインは、相対姿勢の精練にどの程度効果的か？
• RQ3 少数ビュー設定におけるマルチスキャン3次元再構築品質を向上させるために、複数の相対姿勢予測はどの程度有効か？
• RQ4 強い重複がない状況下で、予測された幾何的関係（例：平行性、同一平面上性）を統合することで、ポーズ精練はどの程度向上するか？
• RQ5 提案手法は、重複あり・非重複ありの両方のスキャン状況において、最先端手法を上回る性能を達成できるか？

主な発見

• ScanNetでは、提案手法がトップ1の回転/並進誤差28.6°/0.90mを達成。最先端ベースラインの34.1°/0.93mを上回った。
• トップ5の予測では、ScanNetで誤差が16.8°/0.76mに低下。ポーズの曖昧性に対処するための複数仮説出力の利点が明確に示された。
• SUNCGでは、トップ1誤差を18.1°/0.16mに低減。最先端ベースラインの31.1°/0.27mと比較して顕著な改善を示した。
• ローカル精練モジュールは、全データセットで15–20%の誤差低減を達成。初期グローバル推定値の改善効果が明確に示された。
• 少数ビュー再構築（5スキャン）では、トップ5出力付きの本手法が平均誤差1.81°/0.09mを達成。RobustRecons（12.3°/0.26m）とFine-to-Coarse（68.6°/1.43m）を上回った。
• 幾何的関係予測は同一平面上性関係で93%の正確性を達成。不完全な予測に対しても、頑健なフィルタリングにより高い性能を維持した。