[論文レビュー] Generalized Binary Search Network for Highly-Efficient Multi-View Stereo

Zhenxing Mi, Di Chang+1 more|arXiv (Cornell University)|Dec 4, 2021

Advanced Vision and Imaging被引用数 7

ひとこと要約

本稿では、深さ範囲における二分探索として深さ推定を定式化することにより、メモリ使用量を著しく削減する、高効率なマルチビューステレオ（MVS）向け一般化二分探索ネットワーク、GBi-Netを提案する。段階ごとに少数の深さ仮説をサンプリングし、誤差耐性のあるビンと分類、段階ごとの勾配更新を用いることで、DTU（全体スコア0.289）およびTanks and Templesで最先端の精度を達成し、GPUメモリ使用量を著しく低減するとともに、高速な学習を実現した。

ABSTRACT

Multi-view Stereo (MVS) with known camera parameters is essentially a 1D search problem within a valid depth range. Recent deep learning-based MVS methods typically densely sample depth hypotheses in the depth range, and then construct prohibitively memory-consuming 3D cost volumes for depth prediction. Although coarse-to-fine sampling strategies alleviate this overhead issue to a certain extent, the efficiency of MVS is still an open challenge. In this work, we propose a novel method for highly efficient MVS that remarkably decreases the memory footprint, meanwhile clearly advancing state-of-the-art depth prediction performance. We investigate what a search strategy can be reasonably optimal for MVS taking into account of both efficiency and effectiveness. We first formulate MVS as a binary search problem, and accordingly propose a generalized binary search network for MVS. Specifically, in each step, the depth range is split into 2 bins with extra 1 error tolerance bin on both sides. A classification is performed to identify which bin contains the true depth. We also design three mechanisms to respectively handle classification errors, deal with out-of-range samples and decrease the training memory. The new formulation makes our method only sample a very small number of depth hypotheses in each step, which is highly memory efficient, and also greatly facilitates quick training convergence. Experiments on competitive benchmarks show that our method achieves state-of-the-art accuracy with much less memory. Particularly, our method obtains an overall score of 0.289 on DTU dataset and tops the first place on challenging Tanks and Temples advanced dataset among all the learning-based methods. The trained models and code will be released at https://github.com/MiZhenxing/GBi-Net.

研究の動機と目的

• 深く学習ベースのMVS手法における3Dコストボリュームの高いメモリ使用量がスケーラビリティと学習効率を制限する問題に対処すること。
• 離散的探索戦略、特に二分探索が、MVSにおける効率性と精度の最適なトレードオフを達成できるかどうかを調査すること。
• 深さ予測精度を損なわずに段階ごとの深さ仮説の数を削減し、より高速な学習と推論を可能にすること。
• 分類誤差、範囲外の予測、記憶効率の高い学習を、マルチステージの二分探索フレームワーク内で処理するためのメカニズムを設計すること。
• モデルのメモリ消費量を著しく削減しながら、標準ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• MVSを一般化二分探索問題として定式化：各段階で深さ範囲を2つのビンに分割し、分類誤差を処理するための誤差耐性のあるビンを両端に配置する。
• 2つのビンの中心点を代表的な深さ値として用い、3Dコストボリュームを構築することで、段階ごとの仮説数を最小限に抑える。
• 範囲外の予測を示すピクセルの前向き伝搬を停止させ、その勾配をバックプロパゲーションから除外する学習メカニズムを導入し、学習の安定性を向上させる。
• 勾配を段階ごとに即座に更新する一方で、複数段階にわたって蓄積しないことで、収束を加速し、最適化の安定性を向上させる。
• 確率ボリュームを用いて複数段階にわたる光度的一致性を計算し、最終的な深さマップは一貫性スコアを用いて外れ値を除去する。
• 一貫性スコアを計算する前に確率ボリュームを最高解像度にアップサンプリングすることで、マルチスケールの精錬と耐障害性を確保する。

実験結果

リサーチクエスチョン

• RQ1 二分探索戦略をMVSに効果的に適応させることで、仮説数を最小限に抑えつつ高い精度を維持できるか？
• RQ2 メモリや計算コストを増加させずに、二分探索における分類誤差をどのように軽減できるか？
• RQ3 粗いから細かい二分探索を用いるMVSにおいて、最適化の安定性を保つために必要な学習メカニズムは何か？
• RQ4 密度のあるサンプリングや粗いから細かいサンプリングと比較して、一般化二分探索フレームワークが精度と記憶効率の両面で優れているか？
• RQ5 複数段階にわたる光度的一致性が、低仮説フレームワークにおいて深さマップの品質向上と外れ値のフィルタリングにどの程度寄与するか？

主な発見

• GBi-NetはDTUデータセットで全体スコア0.289という最先端のスコアを達成し、すべての先行学習ベースのMVS手法を上回った。
• 挑戦的なTanks and Templesアドバンスドベンチマークにおいて、GBi-Netはすべての学習ベース手法の中で第1位を記録し、優れた一般化性能と精度を示した。
• 段階ごとに少数の深さ仮説をサンプリングすることで、3Dコストボリュームのサイズを極めて低い限界まで削減し、GPUメモリ使用量を著しく低減した。
• 即座の勾配更新と仮説空間の縮小により、学習プロセスの収束が速くなり、学習効率が向上した。
• 複数段階から得た光度的一致性マップは、特に広い深さレンジを有するシーンにおいて、背景の外れ値やノイズの多い予測を効果的にフィルタリングした。
• 定性的な結果から、段階1から段階8にかけて深さマップの品質が一貫して向上する様子が確認され、マルチステージ探索戦略の有効性が裏付けられた。