[論文レビュー] Hierarchical Deep Stereo Matching on High-resolution Images

Gengshan Yang, Joshua Manela+2 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Vision and Imaging参考文献 42被引用数 5

ひとこと要約

本論文は、オンデマンド推論機能を備えたリアルタイムで高解像度の視差推定を可能にする階層的ディープステレオマッチングフレームワークを提案する。3次元特徴ボリュームの粗いから細かいスケールへのピラミッドと、新規の高解像度合成データセットを活用することで、Middlebury-v3およびKITTI-15で最先端の性能を達成するとともに、近距離物体の処理遅延を30msまで低減した。

ABSTRACT

We explore the problem of real-time stereo matching on high-res imagery. Many state-of-the-art (SOTA) methods struggle to process high-res imagery because of memory constraints or speed limitations. To address this issue, we propose an end-to-end framework that searches for correspondences incrementally over a coarse-to-fine hierarchy. Because high-res stereo datasets are relatively rare, we introduce a dataset with high-res stereo pairs for both training and evaluation. Our approach achieved SOTA performance on Middlebury-v3 and KITTI-15 while running significantly faster than its competitors. The hierarchical design also naturally allows for anytime on-demand reports of disparity by capping intermediate coarse results, allowing us to accurately predict disparity for near-range structures with low latency (30ms). We demonstrate that the performance-vs-speed trade-off afforded by on-demand hierarchies may address sensing needs for time-critical applications such as autonomous driving.

研究の動機と目的

• 自動運転などの安全が重要な応用分野において不可欠な、高解像度画像におけるリアルタイムステレオマッチングの課題に対処すること。
• 計算負荷の高さにより、高解像度ステレオ処理に苦労している従来手法のメモリと速度の制限を克服すること。
• 中間の粗い結果を上限に設定することで、近接障害物の低遅延認識を可能にする、いつでもオンデマンドの視差報告を可能にすること。
• 高解像度ステレオデータセットの提供を通じて、そのようなベンチマークの不足を解消すること。
• 補正エラー、露出変化、照明の変化といった実世界のセンサー変動に対する耐性を、データ拡張によって向上させること。

提案手法

• ステレオ画像を粗いから細かいスケールへの3次元特徴ボリュームのピラミッドを通じて処理する階層的でエンドツーエンドのディープラーニングフレームワークを設計する。
• 補正済みの高解像度ステレオペアからマルチスケール記述子を抽出するために、独自のResNetベースの「バタフライ」エンコーダデコーダネットワークを採用する。
• エピポールスキャンラインに沿った差分計算により、各スケールで4次元特徴ボリュームを構築し、メモリ使用量を削減するためにストライド付き3次元畳み込みを適用する。
• 各特徴ボリュームを3次元畳み込みでデコードし、オンデマンドの視差推定を生成し、より細かいスケールとの統合を可能にするために結果をアップサンプリングする。
• 補正エラーと露出エラーに対する耐性を向上させるために、非対称なデータ拡張技術（y方向の視差シフト、色調調整など）を導入する。
• 都市シミュレータから得た合成高解像度ステレオデータを活用してモデルを事前学習し、実世界の補正エラーを組み込んだデータ拡張を実施して耐性を強化する。

実験結果

リサーチクエスチョン

• RQ1 階層的ディープステレオマッチングフレームワークは、高解像度ステレオベンチマークで最先端の性能を達成しつつ、リアルタイム推論速度を維持できるか？
• RQ2 合成高解像度ステレオデータは、ディープステレオマッチングにおける一般化性能と耐性向上にどの程度寄与するか？
• RQ3 提案されたオンデマンド視差推定機能は、近距離物体検出の遅延低減にどの程度効果的か？
• RQ4 補正エラー、露出変化、照明変化に対するモデルの耐性は、先行手法と比較してどの程度優れているか？
• RQ5 粗いから細かいスケールでの処理は、補正エラーの影響を抑制し、不完全な条件下でも視差推定の正確性を向上させることができるか？

主な発見

• 提案されたHSMモデルは、Middlebury-v3およびKITTI-15ベンチマークで最先端の性能を達成し、精度と速度の両面で先行手法を上回った。
• 近距離構造物の視差をわずか30msで報告でき、自動運転に不可欠な低遅延深度センシングを実現した。
• Middlebury-v3では、完全に補正された画像では平均誤差が3.9px、不完全に補正された画像では4.1pxを記録し、補正エラー下での誤差率上昇は5.9%にとどまった。
• 露出変化に対しても優れた耐性を示し、誤差率の平均上昇は8.2%（ELAS-Hと比較して44.2%）にとどまった。
• 照明変化下では誤差率が131.1%上昇したが、これはELAS-Hの148.4%上昇よりも優れており、両者とも重度の陰影変化には苦労した。
• 小さなカメラオクルージョンの存在下でも視差を正しく推定できた。これは、モノクロナルおよび文脈的情報のおかげと考えられ、定性的な結果で示された。