[論文レビュー] Multi-Scale Geometric Consistency Guided Multi-View Stereo

Qingshan Xu, Wenbing Tao|arXiv (Cornell University)|Apr 17, 2019

Advanced Vision and Imaging参考文献 34被引用数 16

ひとこと要約

本稿では、多スケール幾何的整合性をガイドとするマルチビューステレオ手法ACMMを提案する。低テクスチャ領域および詳細領域における深度推定を向上させる。アダプティブチェッカーボードサンプリング、マルチハイポセシス共同ビュー選択、および詳細回復器を備えた多スケールガイドを組み合わせることで、ETH3Dで最先端の精度と完全性を達成するとともに、高い効率性を維持し、COLMAP や Gipuma よりも速度と品質の両面で優れている。

ABSTRACT

In this paper, we propose an efficient multi-scale geometric consistency guided multi-view stereo method for accurate and complete depth map estimation. We first present our basic multi-view stereo method with Adaptive Checkerboard sampling and Multi-Hypothesis joint view selection (ACMH). It leverages structured region information to sample better candidate hypotheses for propagation and infer the aggregation view subset at each pixel. For the depth estimation of low-textured areas, we further propose to combine ACMH with multi-scale geometric consistency guidance (ACMM) to obtain the reliable depth estimates for low-textured areas at coarser scales and guarantee that they can be propagated to finer scales. To correct the erroneous estimates propagated from the coarser scales, we present a novel detail restorer. Experiments on extensive datasets show our method achieves state-of-the-art performance, recovering the depth estimation not only in low-textured areas but also in details.

研究の動機と目的

• テクスチャが欠如した領域ではマッチングの信頼性が低下するという課題に対処し、正確な深度推定を実現すること。
• 構造的領域情報とアダプティブサンプリングを活用することで、拡散的プロパゲーションにおけるビュー選択のロバスト性を向上させること。
• 幾何的整合性を用いて粗いスケールからの信頼性の高い推定を細分化スケールに伝搬させることで、細かいスケールでの深度推定を向上させること。
• 差分マップベースの詳細回復器を用いて、粗いスケールから細かいスケールへのアップサンプリング中に失われた細部を回復させること。
• 高い計算効率を維持しながら、深度推定において最先端のパフォーマンスを達成すること。

提案手法

• 構造的領域情報に基づいて動的により良い候補仮説を選択するためのアダプティブチェッカーボードサンプリング（ACS）を導入し、プロパゲーション品質を向上させる。
• 複数の仮説にわたる各ピクセルに対して一致する高信頼度のビュー集合を投票方式で推定する、マルチハイポセシス共同ビュー選択（MH-JVS）を提案する。
• テクスチャの豊富な粗いスケールで深度を推定するための多スケール画像ピラミッドを採用し、低テクスチャ領域での信頼性を向上させる。
• 粗いスケールからの深度推定を用いて、細かいスケールで幾何的整合性制約を適用し、マッチングを精緻化して誤差を低減する。
• 隣接スケール間の光度的一致性の差を活用して、アップサンプリング中に失われた細粒度の深度詳細を回復する差分マップベースの詳細回復器を設計する。
• 一貫したPatchMatchステレオパイプラインを採用し、逐次的プロパゲーションと効率的なGPU最適化計算により、高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 構造的領域情報に基づくアダプティブサンプリングは、マルチビュー・ステレオにおけるビュー選択およびプロパゲーションを改善できるか？
• RQ2 幾何的整合性ガイド付きの多スケール深度推定は、低テクスチャ領域での信頼性を向上させられるか？
• RQ3 スケール間の光度的一致性に基づく詳細回復器は、粗いスケールから細かいスケールへのプロパゲーション中に失われた細部を回復できるか？
• RQ4 マルチハイポセシス共同ビュー選択と多スケール幾何的整合性を組み合わせることで、深度推定において最先端のパフォーマンスが達成できるか？
• RQ5 提案手法は、優れた正確性と完全性を維持しながらも、高い効率性を発揮できるか？

主な発見

• ACMMはETH3D屋内ベンチマークでF1スコア92.96を達成し、COLMAP（90.40）やGipuma（87.86）を大きく上回った。
• 屋外データセットではF1スコア94.35を達成し、ACMH（93.87）やCOLMAP（93.79）を上回り、困難なシーンでも完全性が向上した。
• 多スケール幾何的整合性を活用することで、低テクスチャ領域における深度推定誤差を低減し、より完全で正確な点群を生成した。
• COLMAPに比べ3倍の高速化を達成し、Gipumaに比べ6倍高速であった。効率的なGPU最適化計算により、高いパフォーマンスを維持した。
• 定性的な結果から、詳細回復器は細部を効果的に回復しており、図6の赤枠で囲まれた領域においてACMMがより完全な点群を生成していることが示された。
• ACMMは、屋内および屋外のETH3Dデータセットにおいて、すべての指標（正確性、完全性、F1）で最先端のパフォーマンスを達成し、そのロバスト性と一般化能力を確認した。