[論文レビュー] A Comparative Evaluation of SGM Variants (including a New Variant, tMGM) for Dense Stereo Matching

Sonali Patil, Tanmay Prakash+2 more|arXiv (Cornell University)|Nov 22, 2019

Advanced Vision and Imaging参考文献 21被引用数 11

ひとこと要約

本論文は、tSGMの階層的精錬とMGMの4領域サポート領域を組み合わせた、新しい密立体マッチングアルゴリズムtMGMを提案する。Middlebury Benchmark V3において、標準SGBMより6-8%の性能向上を達成した。本手法は、照明の変化、テクスチャの欠如、繰り返しパターンといった困難な状況でも精度を向上させ、衛星立体対のための新たなDEM彫刻技術を導入し、よりタイトな視差探索範囲を実現した。

ABSTRACT

Our goal here is threefold: [1] To present a new dense-stereo matching algorithm, tMGM, that by combining the hierarchical logic of tSGM with the support structure of MGM achieves 6-8\% performance improvement over the baseline SGM (these performance numbers are posted under tMGM-16 in the Middlebury Benchmark V3 ); and [2] Through an exhaustive quantitative and qualitative comparative study, to compare how the major variants of the SGM approach to dense stereo matching, including the new tMGM, perform in the presence of: (a) illumination variations and shadows, (b) untextured or weakly textured regions, (c) repetitive patterns in the scene in the presence of large stereo rectification errors. [3] To present a novel DEM-Sculpting approach for estimating initial disparity search bounds for multi-date satellite stereo pairs. Based on our study, we have found that tMGM generally performs best with respect to all these data conditions. Both tSGM and MGM improve the density of stereo disparity maps and combining the two in tMGM makes it possible to accurately estimate the disparities at a significant number of pixels that would otherwise be declared invalid by SGM. The datasets we have used in our comparative evaluation include the Middlebury2014, KITTI2015, and ETH3D datasets and the satellite images over the San Fernando area from the MVS Challenge dataset.

研究の動機と目的

• tSGMの階層的処理とMGMの4領域サポート領域を統合することで、新しい密立体マッチングアルゴリズムtMGMを開発すること。
• 照明の変化、テクスチャの欠如、繰り返しパターンといった困難な現実世界の条件下で、SGM変種（tMGMを含む）の包括的な定量的・定性的比較を実施すること。
• 複数日付の衛星立体対における初期視差探索範囲をよりタイトに推定するための新たなDEM彫刻手法を提案すること。
• Middlebury2014、KITTI2015、ETH3D、MVS Challengeの衛星データなど、多様なデータセットにおいてtMGMおよび他のSGM変種の性能を評価すること。
• tMGMがすべてのテストデータセットおよびシーン条件下で、既存のSGM変種を一貫して上回ることを示すこと。

提案手法

• tMGMは、tSGMにインspiredされた粗〜細かい階層的フレームワークを採用しており、段階的なスケールで視差推定が行われ、徐々に精錬された探索範囲が用いられる。
• 各レベルで、16方向のSGM集積戦略を用いてコストボリュームを計算し、データコストの計算にはCensus変換を活用する。
• SGMのスキャンラインベースのサポート領域を、MGMの4領域ベースのサポート領域に置き換え、ピクセル間の影響が向上し、視差の一貫性が向上する。
• 新たなDEM彫刻技術を導入してグローバルな視差探索範囲を精錬する：RPCとDEMの高さ差に基づき、上界および下界のオフセットを計算し、正規化および非正規化ビューを通じてスパarsな点を投影して、ピクセルごとの視差範囲を導出する。
• RPCモデルを用いて世界座標にバックプロジェクションを行い、スパースな視差範囲を生成した後、前方投影と最近傍補間法を用いて穴を埋める。
• 最終的な視差マップは、集積コストに対してウィナートークス戦略を用いて計算され、tMGM-16は16方向と階層的精錬を用いて最適な性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 照明の変化や影がある状況下で、提案されたtMGMアルゴリズムは、ベースラインSGBMおよび他のSGM変種と比べて、精度と頑健性にどの程度優れているか？
• RQ2 階層的処理と4領域サポート領域は、テクスチャが欠如または弱い領域における視差マップ品質にどの程度向上効果をもたらすか？
• RQ3 提案されたDEM彫刻法は、大きな視差範囲を有する複数日付の衛星立体対において、探索空間をどの程度縮小し、マッチング精度を向上させるか？
• RQ4 繰り返しパターンや大きなステレオ正規化誤差があるシーンにおいて、tMGMは他のSGM変種と比べて優れた性能を維持できるか？
• RQ5 KITTI2015データセットにおけるtMGMの限界は何か？また、それらはどのように是正できるか？

主な発見

• tMGM-16は、Middlebury Benchmark V3において標準SGBMと比較して6-8%の性能向上を達成し、すべてのテストデータセットで優れた精度を示した。
• tMGMは、照明の変化、影、テクスチャの欠如領域において、階層的精錬と強化されたサポート構造のおかげで、他のSGM変種を一貫して上回った。
• tSGMの階層的論理とMGMの4領域サポート領域の組み合わせにより、SGBMが有効な視差を割り当てられない領域でも、より密度が高く正確な視差マップが生成された。
• 提案されたDEM彫刻法は、初期視差探索範囲を顕著にタイトにし、とくに初期範囲が広い平坦領域において、誤マッチングを低減し、マッチング精度を向上させた。
• KITTI2015データセットでは、tMGM-16は最高性能を示す変種とほぼ同等の性能を発揮したが、大きな動きや複雑なシーン構造に起因するわずかな性能差が見られた。
• 本研究では、特にtMGMを含む階層的SGM変種が、不完全な正規化や繰り返しパターンを含むあらゆるテストシーン条件下で、非階層的対比手法よりも頑健で正確であることが確認された。