[論文レビュー] EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching

Xiao Song, Xu Zhao+2 more|arXiv (Cornell University)|Mar 14, 2018

Advanced Vision and Imaging参考文献 37被引用数 23

ひとこと要約

EdgeStereoは、コンテキスト統合型リーマンプリファイドピラミッドネットワークを用いて、一括で視差マップとエッジマップを予測する統合的でエンド・ツー・エンドのディーブラーニングフレームワークを提案する。特徴埋め込みとエッジに配慮した滑らかさ損失を介してエッジ情報を統合することで、テクスチャが乏しい領域や物体境界などの困難な領域における視差推定が向上し、KITTI ステレオ 2012 および 2015、Scene Flow ベンチマークで最先端の性能を達成するとともに、カスケード構造に比べて高速な推論を実現した。

ABSTRACT

Recent convolutional neural networks, especially end-to-end disparity estimation models, achieve remarkable performance on stereo matching task. However, existed methods, even with the complicated cascade structure, may fail in the regions of non-textures, boundaries and tiny details. Focus on these problems, we propose a multi-task network EdgeStereo that is composed of a backbone disparity network and an edge sub-network. Given a binocular image pair, our model enables end-to-end prediction of both disparity map and edge map. Basically, we design a context pyramid to encode multi-scale context information in disparity branch, followed by a compact residual pyramid for cascaded refinement. To further preserve subtle details, our EdgeStereo model integrates edge cues by feature embedding and edge-aware smoothness loss regularization. Comparative results demonstrates that stereo matching and edge detection can help each other in the unified model. Furthermore, our method achieves state-of-art performance on both KITTI Stereo and Scene Flow benchmarks, which proves the effectiveness of our design.

研究の動機と目的

• 既存のステレオマッチングネットワークがテクスチャが乏しい領域、物体境界、細部を処理する際の限界を克服すること。
• エッジ情報を特徴の監視と正則化の両方として活用することで、視差推定を向上させること。
• 計算コストの高いカスケード構造に代わる、コンactなリーマンプリファイドピラミッドを備えた効率的なワンステージアーキテクチャを設計すること。
• トレーニング中にペアド真値エッジラベルを必要とせずに、視差とエッジ検出を同時に学習できること。
• マルチタスク学習によってステレオマッチングとエッジ検出の相互向上が実現されることを示すこと。

提案手法

• 相関層を備えたシアンプルネットワークが、左・右ステレオ画像からマッチングコストボリュームを計算する。
• コンテキストピラミッドモジュールが、複数のレベルにわたるマルチスケールの文脈的特徴を符号化し、不適切な領域におけるロバスト性を向上させる。
• ワンステージのリーマンプリファイドピラミッドが、カスケードの微調整に代わり、1つのデコーダー内で複数スケールの視差リジデュアルを学習する。
• エッジ特徴が視差ブランチに埋め込まれ、局所的・低レベルの監視を提供する。
• エッジに配慮した滑らかさ損失が、予測されたエッジと整合しない不連続性をペナルティ化することで、視差予測を正則化する。
• マルチフェーズトレーニング戦略により、真値エッジアノテーションが不要なエンド・ツー・エンドのトレーニングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 視差マッチングとエッジ検出の共同学習が、テクスチャが乏しい領域や物体境界などの困難な領域での性能向上に寄与するか？
• RQ2 特徴埋め込みと正則化を通じたエッジキューの統合が、視差推定の精度を向上させるか？
• RQ3 ワンステージのリーマンプリファイドピラミッド設計が、従来のカスケード構造や3次元畳み込みニューラルネットワークベースの微調整構造に比べ、精度と推論速度の両面で優れているか？
• RQ4 真値エッジアノテーションがトレーニング中に使用されない場合でも、マルチタスク学習がエッジ検出の品質を向上させるか？
• RQ5 提案手法が、高価なマルチステージアーキテクチャに依存せずに、KITTI や Scene Flow といった標準的なステレオベンチマークで最先端の性能を達成できるか？

主な発見

• KITTI 2012ベンチマーク（Noc領域）では3ピクセル誤差が1.73%に達し、PSMNet や iResNet などの先行手法を上回った。
• KITTI 2015ではD1-all誤差が2.40%を記録し、1枚あたり0.27秒の高速な推論時間で、最も優れたモデルの一つにランクインした。
• KITTI および Scene Flow における定性的比較から、テクスチャが乏しい領域や境界領域の視差誤差が、ベースラインモデルに比べ15–20%低減された。
• BSDS500ではエッジ検出性能が向上し、マルチタスク学習後にはODS F-measureが0.795に達し、元のHED β（0.790）を上回った。
• エッジに配慮した滑らかさ損失とエッジ特徴埋め込みにより、細い構造部や物体の輪郭部で特に明確な視差マップと正確なエッジマップが得られた。
• ワンステージのリーマンプリファイドピラミッド設計は、CRL や DispNetC などのカスケードベースのモデルに比べ、より高い精度と高速な推論を達成した。