[論文レビュー] ES-Net: An Efficient Stereo Matching Network

Zhengyu Huang, Theodore B. Norris+1 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Vision and Imaging参考文献 45被引用数 9

ひとこと要約

ES-Net は 2D 畳み込みとワーピングベースの手法を用いて、マルチスケールコストボリュームを効率的に計算することで、高い推論速度を維持しながら最先端の精度を達成する軽量なステレオマッチングネットワークです。さらに、ESNet-M を用いたオクルージョン認識型トレーニングと、新たな教師なし事前学習およびデータセットスケジューリング戦略により、Scene Flow、DrivingStereo、KITTI-2015 ベンチマークにおいて、先行する効率的な手法を上回る性能を発揮しています。

ABSTRACT

Dense stereo matching with deep neural networks is of great interest to the research community. Existing stereo matching networks typically use slow and computationally expensive 3D convolutions to improve the performance, which is not friendly to real-world applications such as autonomous driving. In this paper, we propose the Efficient Stereo Network (ESNet), which achieves high performance and efficient inference at the same time. ESNet relies only on 2D convolution and computes multi-scale cost volume efficiently using a warping-based method to improve the performance in regions with fine-details. In addition, we address the matching ambiguity issue in the occluded region by proposing ESNet-M, a variant of ESNet that additionally estimates an occlusion mask without supervision. We further improve the network performance by proposing a new training scheme that includes dataset scheduling and unsupervised pre-training. Compared with other low-cost dense stereo depth estimation methods, our proposed approach achieves state-of-the-art performance on the Scene Flow [1], DrivingStereo [2], and KITTI-2015 dataset [3]. Our code will be made available.

研究の動機と目的

• 自動運転などのリアルタイム応用に適した、高い精度と低い計算コストを両立するステレオマッチングネットワークの開発。
• 細部の領域における性能低下を解消するため、ワーピングベースの手法を用いてマルチスケールコストボリュームを効率的に計算する方法の開発。
• ESNet-M において、教師なしでオクルージョンマスクを予測するモジュールを導入することで、曇りや不確実な領域におけるマッチングの曇りを低減。
• 推論時間の増加を伴わずに、教師なし事前学習とデータセットスケジューリングを組み合わせた新たなトレーニングスキームにより、一般化性能と収束性を向上。
• 複数のベンチマークデータセットにわたる低コストな高密度ステレオ深度推定分野における新たな最先端性能の確立。

提案手法

• ES-Net は 3D 畳み込みを避けるために、2D 畝み込みとワーピングベースのメカニズムのみを用いて、マルチスケールコストボリュームを効率的に計算。
• マルチスケール特徴マッチングモジュールは、特徴のワーピングを用いて異なるスケールでのコストボリュームを計算し、細部の領域における精度を向上。
• ESNet-M は、教師なしで視差とオクルージョンマスクを同時に予測するように ES-Net を拡張し、曇りのある領域におけるロバスト性を向上。
• データセットスケジューリング戦略を採用し、まず合成データ（Scene Flow）で事前学習を行い、その後実データセット（DrivingStereo、KITTI）でファインチューニング。
• 下流データセットでのファインチューニングの前段階として、Scene Flow で教師なし事前学習を実施し、特徴表現力と一般化性能を向上。
• 複数ラウンドの学習率減衰戦略に加え、スケジュールされたデータセットミキシングを用いたトレーニングパイプラインにより、モデルの収束性と性能を強化。

実験結果

リサーチクエスチョン

• RQ1 2D 畝み込みのみを用いても、最先端の精度を達成しながら高い推論速度を維持できるステレオマッチングネットワークは構築可能か？
• RQ2 ワーピングベースの手法によるマルチスケールコストボリューム計算は、細部の領域における精度向上にどの程度有効か？
• RQ3 教師なしでオクルージョンマスクを予測するモジュールは、曇りや曇りのある領域における視差推定を改善できるか？
• RQ4 教師なし事前学習とデータセットスケジューリングは、推論時間の増加を伴わずにどの程度性能を向上させるか？
• RQ5 標準的なトレーニングと比較して、提案されたトレーニングスキームは、多様なデータセットにおいて精度と一般化性能の両面で優れているか？

主な発見

• KITTI-2015 ベンチマークでは、ESNet-M が D1-all エラー 2.42% を達成し、FADNet より 14% の精度向上を達成し、5% の高速化を実現。
• ESNet-M は iResNet-i2 より 2 倍速く、PSMNet より 11 倍速く、同等の精度を達成しており、優れたスピード・アキュラシーのトレードオフを示している。
• Scene Flow では、ESNet-M が D1-all エラー 1.81% を達成し、GA-Net と同等の性能を発揮するが、64 倍の高速化を達成。DeepPruner-Fast よりも精度が高く、4 倍の高速化を実現。
• 提案された教師なし事前学習とデータセットスケジューリング戦略は、推論時間に影響を与えずにモデルの精度を顕著に向上させた。
• 定性的な結果から、ESNet-M はより高品質な視差マップを生成し、細部の保持が良く、正確なオクルージョンマスクを提供していることが確認された。
• ESNet は KITTI-2015 で 2.60% の D1-all エラー、Scene Flow でも 2.60% の D1-all エラーを達成し、合成データと実世界データの両方において優れた一般化性能を示した。