[論文レビュー] Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation

Jiankun Li, Peisen Wang+7 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Vision and Imaging被引用数 14

ひとこと要約

本稿では、実世界のシーンにおける視差推定を改善するため、適応的相関を備えた段階的再帰的ステレオマッチングネットワーク、CREStereoを提案する。階層的再帰的精錬、スタックド段階的推論、および適応的グループ相関層を用いることで、MiddleburyおよびETH3Dベンチマークで最先端の性能を達成するとともに、特に細かなディテールや困難なテクスチャにおいて、従来手法を顕著に上回る性能を発揮する。

ABSTRACT

With the advent of convolutional neural networks, stereo matching algorithms have recently gained tremendous progress. However, it remains a great challenge to accurately extract disparities from real-world image pairs taken by consumer-level devices like smartphones, due to practical complicating factors such as thin structures, non-ideal rectification, camera module inconsistencies and various hard-case scenes. In this paper, we propose a set of innovative designs to tackle the problem of practical stereo matching: 1) to better recover fine depth details, we design a hierarchical network with recurrent refinement to update disparities in a coarse-to-fine manner, as well as a stacked cascaded architecture for inference; 2) we propose an adaptive group correlation layer to mitigate the impact of erroneous rectification; 3) we introduce a new synthetic dataset with special attention to difficult cases for better generalizing to real-world scenes. Our results not only rank 1st on both Middlebury and ETH3D benchmarks, outperforming existing state-of-the-art methods by a notable margin, but also exhibit high-quality details for real-life photos, which clearly demonstrates the efficacy of our contributions.

研究の動機と目的

• スマートフォンなどの消費者機器から得られる実世界のステレオ画像における正確な視差推定の課題に対処すること。
• 細かい構造の回復、非理想的な補正、困難なシーンへの一般化に関する従来手法の限界を克服すること。
• 新規のトレーニングデータセットとネットワークアーキテクチャの設計により、細い構造、テクスチャの欠如領域、非一様な照明条件下での性能を向上させること。
• 公開ベンチマークで最先端の結果を達成するとともに、実生の写真に対しても高品質な予測を維持すること。

提案手法

• 粗くから細かくまで段階的に視差を精錬する階層的再帰的精錬を備えた段階的再帰ネットワークを提案する。
• 特徴ピラミッドからのマルチレベルのコンテキストを活用することで、高解像度推論を実現するスタックド段階的アーキテクチャを導入する。
• 非理想的な補正に起因する誤差を低減するために、相関グループを動的に調整する適応的グループ相関層（AGCL）を設計する。
• 各段階で相関計算に使用するマルチスケール特徴を生成するために、共有重みの特徴抽出器を採用する。
• コンテキストに配慮した特徴を用いて、視差とフローオフセットを段階的に精錬する再帰的更新モジュール（RUM）を採用する。
• 実世界のシーンへの一般化を向上させるために、多様な照明、テクスチャ、形状を備えた新規の合成データセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 階層的精錬を備えた段階的再帰ネットワークは、細かい構造や細い物体における視差推定精度を向上させることができるか？
• RQ2 非理想的な補正に起因する誤差を軽減する観点で、適応的グループ相関層はどの程度効果的か？
• RQ3 テクスチャと照明のバリエーションを強化した合成データセットは、実世界のシーンへの一般化をどの程度向上させるか？
• RQ4 提案アーキテクチャは、標準ベンチマークおよび実生のスマートフォン画像の両方で、従来手法を上回る性能を発揮するか？
• RQ5 実世界のステレオデータにおけるぼやけ、色のずれ、視点変化といった実用的歪みに対して、本手法はどの程度耐性を示すか？

主な発見

• CREStereoは、MiddleburyおよびETH3Dベンチマークの両方でトップランクを達成し、すべての先行最先端手法を上回った。
• ETH3Dベンチマークでは、400枚のスマートフォンで撮影されたシーンにおいて、mxIoUが97.50%、mxIoUbdが72.61%を達成し、RAFT-Stereo（94.58%および69.26%）を顕著に上回った。
• KITTI 2012では、2ピクセル誤差許容範囲内でのOut-Noc精度が、LEAStereoを9.47%上回った。
• Holopix50Kにおける定性的な結果では、ネコのひげやワイヤーメッシュといった細い構造、およびテクスチャの欠如領域において優れた性能を示した。
• ETH3Dにおける実用的歪み（ぼやけ、色の変換、空間的歪み）に対しても、本手法は強い耐性を示した。
• 提案された合成データセットにより、特にテクスチャの欠如領域や繰り返しテクスチャ領域において、実世界のシーンへの一般化が向上した。