[論文レビュー] EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection

Xiao Song, Xu Zhao+2 more|arXiv (Cornell University)|Mar 5, 2019

Advanced Vision and Imaging参考文献 61被引用数 13

ひとこと要約

EdgeStereoは、共有バックボーンと専用の分岐を備えた統合的マルチタスク学習ネットワークを提案する。エッジに配慮した滑らかさ損失とエッジ特徴埋め込みを導入することで、テクスチャが乏しい領域、隠蔽領域、境界領域における視差推定が向上し、FlyingThings3D、KITTI 2012、KITTI 2015ベンチマークで最先端の性能を達成した。特に、反射領域やエッジのない領域での改善が顕著である。

ABSTRACT

Recently, leveraging on the development of end-to-end convolutional neural networks (CNNs), deep stereo matching networks have achieved remarkable performance far exceeding traditional approaches. However, state-of-the-art stereo frameworks still have difficulties at finding correct correspondences in texture-less regions, detailed structures, small objects and near boundaries, which could be alleviated by geometric clues such as edge contours and corresponding constraints. To improve the quality of disparity estimates in these challenging areas, we propose an effective multi-task learning network, EdgeStereo, composed of a disparity estimation branch and an edge detection branch, which enables end-to-end predictions of both disparity map and edge map. To effectively incorporate edge cues, we propose the edge-aware smoothness loss and edge feature embedding for inter-task interactions. It is demonstrated that based on our unified model, edge detection task and stereo matching task can promote each other. In addition, we design a compact module called residual pyramid to replace the commonly-used multi-stage cascaded structures or 3-D convolution based regularization modules in current stereo matching networks. By the time of the paper submission, EdgeStereo achieves state-of-art performance on the FlyingThings3D dataset, KITTI 2012 and KITTI 2015 stereo benchmarks, outperforming other published stereo matching methods by a noteworthy margin. EdgeStereo also achieves comparable generalization performance for disparity estimation because of the incorporation of edge cues.

研究の動機と目的

• テクスチャが乏しい領域、境界付近、小規模な物体における視差推定の不正確さという長年の課題に対処すること。
• エッジ検出からの幾何的ヒントを統合することで、ステレオマッチングネットワークの一般化性能とロバスト性を向上させること。
• エンドツーエンドのマルチタスク学習により、ステレオマッチングとエッジ検出の相互改善を実現すること。
• 従来のカスケード型または3次元畳み込み型正則化を、効率的な特徴精錬を可能にするコンact残差ピラミッドモジュールに置き換えること。
• トレーニング時に真のエッジアノテーションが存在しない状況でも、エッジの監視が視差推定を向上させることを実証すること。

提案手法

• 共有エンコーダーバックボーンを共有する視差推定分岐とエッジ検出分岐を備えた二重分岐ネットワークを設計する。
• 予測されたエッジマップと整合しない視差の不連続性をペナルティ化するエッジに配慮した滑らかさ損失を導入し、タスク間最適化を可能にする。
• エッジ情報を視差推定分岐に統合するエッジ特徴埋め込みを提案し、境界部での特徴表現を強化する。
• 標準的なカスケード型または3次元畳み込み型正則化を、コストボリュームおよび精錬にマルチスケール特徴を集約する残差ピラミッドモジュールに置き換える。
• ステレオマッチングとエッジ検出の目的関数を統合した損失関数を用いてエンドツーエンドでモデルを学習し、両分岐間で勾配伝搬を可能にする。
• 合成データ（FlyingThings3D）および実世界データ（Cityscapes）を用いた事前学習により、エッジのない屋内環境を含む多様なシーンへの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ステレオマッチングとエッジ検出の共同学習は、テクスチャが乏しく、境界付近の視差推定を改善できるか？
• RQ2 エッジキューは、視差推定パイプラインにどのように効果的に統合可能か？滑らかさと一貫性の向上に寄与するか？
• RQ3 エッジアノテーションがトレーニング時に存在しない状況でも、マルチタスク学習はエッジ検出性能の向上をもたらすか？
• RQ4 複雑なカスケード型または3次元畳み込みモジュールを置き換えられるコンact残差ピラミッドモジュールは、性能を維持または向上させられるか？
• RQ5 ステレオマッチングとエッジ検出の相互監視は、多様なデータセットにわたる一般化性能をどの程度向上させるか？

主な発見

• EdgeStereoはFlyingThings3Dベンチマークで最先端の性能を達成し、エンドポイント誤差を3.96%まで低下させ、平均絶対誤差を0.74まで改善した。
• KITTI 2012テストセットでは、3ピクセル誤差を1.46%まで低減し、従来手法を大きく上回った。
• KITTI 2012の反射領域評価では、公式リーダーボードで1位を獲得し、3ピクセル誤差は5.84%であった。
• エッジのないMiddleburyテストセットという挑戦的な環境でも、EdgeStereoは3ピクセル誤差2.252%を達成し、トレーニング時にエッジアノテーションが存在しなくても強力な一般化性能を示した。
• トレーニング時に真のエッジラベルが存在しない状況でも、タスク間監視のおかげでエッジ検出の品質が向上した。
• 残差ピラミッドモジュールは、カスケード型または3次元畳み込み型モジュールを効果的に置き換え、複雑性を低減しつつ、効率的かつ正確な特徴精錬を実現した。