[論文レビュー] Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network

Ali Amiri, Shing Yan Loo+1 more|arXiv (Cornell University)|May 18, 2019

Advanced Vision and Imaging参考文献 28被引用数 9

ひとこと要約

本論文は、ステレオ再構成における左右一貫性と高品質なアノテート済みLiDAR深度マップを活用する深層ニューラルネットワークを用いた半教師あり単眼深度推定手法を提案する。新規の左右一貫性損失を統合し、事前処理済みLiDARデータで学習することで、KITTIベンチマークにおいて最先端の性能を達成し、生のLiDAR投影データを用いる手法と比較して予測誤差を顕著に低減した。

ABSTRACT

There has been tremendous research progress in estimating the depth of a scene from a monocular camera image. Existing methods for single-image depth prediction are exclusively based on deep neural networks, and their training can be unsupervised using stereo image pairs, supervised using LiDAR point clouds, or semi-supervised using both stereo and LiDAR. In general, semi-supervised training is preferred as it does not suffer from the weaknesses of either supervised training, resulting from the difference in the cameras and the LiDARs field of view, or unsupervised training, resulting from the poor depth accuracy that can be recovered from a stereo pair. In this paper, we present our research in single image depth prediction using semi-supervised training that outperforms the state-of-the-art. We achieve this through a loss function that explicitly exploits left-right consistency in a stereo reconstruction, which has not been adopted in previous semi-supervised training. In addition, we describe the correct use of ground truth depth derived from LiDAR that can significantly reduce prediction error. The performance of our depth prediction model is evaluated on popular datasets, and the importance of each aspect of our semi-supervised training approach is demonstrated through experimental results. Our deep neural network model has been made publicly available.

研究の動機と目的

• 監視付き学習（LiDARの真値）と非監視付き学習（ステレオ再構成）を組み合わせることで、単一画像深度推定の精度を向上させること。
• カメラとLiDARの視野の不一致に起因する監視付き手法の限界と、ステレオ再構成誤差に起因する非監視付き手法の深度精度の制限を解消すること。
• 生のLiDAR投影データではなく、事前処理済みでアノテート済みのLiDAR深度マップを用いることで、モデル性能が顕著に向上することを示すこと。
• 半教師あり学習に左右一貫性損失を組み込むことで、深度推定精度が向上し、後処理の必要がなくなることを示すこと。
• Monodepthに基づく公開可能な深層ニューラルネットワークモデルをコミュニティに提供すること。

提案手法

• モデルは、アノテート済みLiDAR深度マップを用いた監視付き学習と、ステレオ画像ペアを用いた非監視付き学習を組み合わせた半教師あり学習戦略を採用する。
• 新規の損失関数が導入され、左画像から予測された視差マップと右画像から再構築された視差マップが一貫していることを保証する。
• ネットワークアーキテクチャはMonodepthに基づき、逆深度予測用の単一出力ヘッドを備え、出力を0から1.0の範囲に制約するためにシグモイド活性化関数を用いる。
• Adam最適化アルゴリズムを用い、学習率スケジューリングを実施し、再構成損失、左右一貫性損失、深度滑らかさのバランスを最適化するハイパーパrameterを調整する。
• ノイズの多いLiDAR投影を慎重にフィルタリングした上で、KITTIデータセットを用い、公式のアノテート済み深度マップと補正済みステレオペアの両方で学習を実施する。
• 本手法は左右の視点を対称的に扱うため、従来の非監視付き手法で必要な後処理ステップを回避できる。

実験結果

リサーチクエスチョン

• RQ1 半教師あり深度推定に左右一貫性損失を組み込むことで、既存手法に比べて性能が向上するか？
• RQ2 LiDAR真値の選択（生の投影データ vs 事前処理済みアノテート済み深度マップ）がモデルの精度に与える影響は？
• RQ3 ステレオ再構成とLiDARデータを統合する半教師ありアプローチが、純粋な監視付きまたは非監視付きベースラインを上回るか？
• RQ4 左右一貫性は、特にオクルージョン領域やオーバーラップしない領域において、予測誤差をどの程度低減するか？
• RQ5 本手法は、実世界の屋外データセットにおけるさまざまなシーンや深度範囲にわたって、頑健かつ汎用的か？

主な発見

• 提案手法はKITTI Eigenスプリットにおいて、既存の最先端の半教師あり手法[20]を上回り、RMSE、RMSE_log、Abs Rel、Sq Rel、δしきい値の大多数の指標で優れた結果を達成した。
• アノテート済みLiDAR深度マップを用いた学習は、生のLiDAR投影データを用いた場合と比較して、予測誤差を顕著に低減した。表Iに示すように、後者ではずれアーチファクトのため大きな誤差が生じた。
• 左右一貫性損失は、ベースライン非監視付きモデル[6]よりも性能を向上させ、半教師あり設定下での有効性を示した。
• KITTIステレオ2015スプリットにおいても、本手法は最先端の性能を達成し、定量的結果が対称的損失定式化の利点を裏付けた。
• 生のLiDAR投影ではなく、アノテート済み深度マップを用いることで、特にLiDARカバレッジが悪い領域やオクルージョン領域において、精度の明確な向上が見られた。
• 損失関数に対称性を組み込むことで、従来の非監視付きアプローチで必要な追加フィルタリングを不要にした。