[論文レビュー] Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness

Shuo Cheng, Zexiang Xu+5 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Vision and Imaging参考文献 66被引用数 19

ひとこと要約

本稿では、複数視点RGB画像から高分解能で正確な3D再構築を可能にする、不確実性を考慮した適応的薄型ボリューム（ATVs）を用いた新規な段階的ステレオネットワークUCS-Netを提案する。各段階で分散に基づく不確実性推定値を用いて動的に構築される小規模で局所的な深度ボリュームを活用することで、従来の学習ベースのMVS手法と比較して、はるかに少ない深度平面と低いメモリ使用量で優れた深度精度と完全性を達成する。

ABSTRACT

We present Uncertainty-aware Cascaded Stereo Network (UCS-Net) for 3D reconstruction from multiple RGB images. Multi-view stereo (MVS) aims to reconstruct fine-grained scene geometry from multi-view images. Previous learning-based MVS methods estimate per-view depth using plane sweep volumes with a fixed depth hypothesis at each plane; this generally requires densely sampled planes for desired accuracy, and it is very hard to achieve high-resolution depth. In contrast, we propose adaptive thin volumes (ATVs); in an ATV, the depth hypothesis of each plane is spatially varying, which adapts to the uncertainties of previous per-pixel depth predictions. Our UCS-Net has three stages: the first stage processes a small standard plane sweep volume to predict low-resolution depth; two ATVs are then used in the following stages to refine the depth with higher resolution and higher accuracy. Our ATV consists of only a small number of planes; yet, it efficiently partitions local depth ranges within learned small intervals. In particular, we propose to use variance-based uncertainty estimates to adaptively construct ATVs; this differentiable process introduces reasonable and fine-grained spatial partitioning. Our multi-stage framework progressively subdivides the vast scene space with increasing depth resolution and precision, which enables scene reconstruction with high completeness and accuracy in a coarse-to-fine fashion. We demonstrate that our method achieves superior performance compared with state-of-the-art benchmarks on various challenging datasets.

研究の動機と目的

• 密度の高い平面スイープボリュームに起因する高いメモリおよび計算コストを理由に、学習ベースのマルチビューステレオ（MVS）における深度精度と完全性のトレードオフを解消すること。
• 標準的な平面スイープボリュームにおける固定深度平面表現の限界を克服し、正確性を確保するには多くの平面が必要であり、高分解能再構築を阻害すること。
• 不確実性駆動の空間的分割により、局所的な深度範囲を段階的に細分化することで、粗〜細かい深度の再構築を実現すること。
• サンプリング効率と予測精度を向上させる、微分可能で不確実性を考慮したボリューム構築メカニズムを導入すること。
• より少ないメモリおよび計算コストで、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 3段階の段階的ネットワークを提案：最初の段階では低解像度で64平面の小さな標準平面スイープボリュームを使用する。以降の段階では、高解像度で平面数を減らした適応的薄型ボリューム（ATVs）を用いる。
• ATVsは、直前の段階の予測深度マップを中心として構築され、ピクセルごとの分散に基づく不確実性推定値によって深度間隔を定義する。
• 微分可能な分散に基づく信頼区間を用いて、ピクセルごとに細かく局所化された空間的適応型深度範囲を生成する。
• 全段階でコストボリューム構築に使用される深層特徴を生成するためのマルチスケール特徴抽出器を採用する。
• 全3段階で深度監督を用いたエンドツーエンド学習を実行するため、3D U-Netを各段階のコストボリューム処理に適用する。
• 次の段階の入力ボリュームに不確実性推定値を統合することで、ネットワークが最適な深度カバレッジと解像度の精錬を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 適応的で不確実性を考慮した深度ボリューム構築は、学習ベースのマルチビューステレオの効率性と正確性を向上させ得るか？
• RQ2 適応的薄型ボリュームにおける少数の深度平面は、標準的な密度の高い平面スイープボリュームと比較して、深度解像度および完全性の面でどのように異なるか？
• RQ3 分散に基づく不確実性推定値は、効果的かつ細かく局所化された深度範囲の空間的分割をどの程度適切に誘導できるか？
• RQ4 不確実性を考慮したボリューム適応を持つ粗〜細かい段階的フレームワークは、より低いメモリ消費量で優れた再構築品質を達成できるか？
• RQ5 予測された不確実性区間は、特にテクスチャが乏しい領域や物体境界など困難な領域において、真値深度をどの程度カバーしているか？

主な発見

• 本手法は、DTUおよびTanks and Templeベンチマークデータセットで最先端の性能を達成し、優れた深度精度と完全性を示した。
• 2つのATVsの中央深度サンプリング距離は、それぞれ0.38mmおよび0.34mmであり、これは従来手法（例：256平面を用いたMVSNetでは1.99mm）と比較して顕著に高い。
• 2つのATVsの平均不確実性区間長は12.01mmおよび2.71mmであるが、外れ値に敏感であるため中央値がより代表的であり、多数のピクセルに対して高いサンプリング効率を示している。
• 2つのATVsにおいて、真値深度をカバーするピクセルの割合はそれぞれ94.7%および85.2%であり、不確実性推定の高い信頼性を示している。
• 段階を経るごとに不確実性が低下しており、第3段階のATVでは第2段階のATVと比較してより多くの白色（低不確実性）領域が見られることから、予測精度の向上が裏付けられている。
• 大きな不確実性（赤）または誤ったカバレッジ（青）を示すピクセルは、主に物体境界、斜めの表面、またはテクスチャが乏しい領域に集中しており、深度推定における既知の課題と整合的である。