[論文レビュー] Self-supervised Learning for Single View Depth and Surface Normal Estimation

Huangying Zhan, Chamara Saroj Weerasekera+2 more|arXiv (Cornell University)|Mar 1, 2019

Advanced Vision and Imaging参考文献 44被引用数 7

ひとこと要約

本論文は、逆深度と表面法線の整合性をソフト制約として用いることで幾何的推論を向上させる自己教師付きフレームワークを提案する。この手法は、ステレオおよび時間的整合性を活用し、専用の法線ネットワークを備えることで、KITTIベンチマークにおいて深度平滑性に基づく自己教師付き手法を著しく上回る表面法線予測の最先端性能を達成する。

ABSTRACT

In this work we present a self-supervised learning framework to simultaneously train two Convolutional Neural Networks (CNNs) to predict depth and surface normals from a single image. In contrast to most existing frameworks which represent outdoor scenes as fronto-parallel planes at piece-wise smooth depth, we propose to predict depth with surface orientation while assuming that natural scenes have piece-wise smooth normals. We show that a simple depth-normal consistency as a soft-constraint on the predictions is sufficient and effective for training both these networks simultaneously. The trained normal network provides state-of-the-art predictions while the depth network, relying on much realistic smooth normal assumption, outperforms the traditional self-supervised depth prediction network by a large margin on the KITTI benchmark. Demo video: https://youtu.be/ZD-ZRsw7hdM

研究の動機と目的

• 自己教師付き深度推定におけるピecewise-smoothな深度仮定の制限を解消し、前面平行な平面アーチファクトを低減すること。
• 予測された深度マップから法線を導出するのではなく、専用の畳み込みニューラルネットワークを訓練することで、表面法線推定を改善すること。
• 単眼自己教師付き学習における深度移動スケールの曖昧性を解消するため、ステレオ画像系列を用いてメトリックビジョウ・オドメトリを推定すること。
• 逆深度と予測された法線の間のソフト整合性制約を通じて、深度および法線予測の精度を向上させること。
• 時間的幾何的整合性を有する共同学習が、深度平滑性の事前知識よりも優れた性能を発揮することを示すこと。

提案手法

• ステレオ画像系列からの2フレームのビジョウ・オドメトリを含む、3つのネットワーク（深度予測、表面法線予測、視覚オドメトリ）を共同で最適化する自己教師付き学習フレームワークを採用する。
• 深度および法線予測は、逆深度と表面法線の幾何的整合性を強制するソフト整合性損失によって正則化される。
• 表面法線ネットワークは深度予測とは独立して訓練されるため、深度から導出される法線よりも正確でノイズの少ない法線推定が可能となる。
• 予測された自己運動を用いて、連続する動画フレーム間の整合性のない深度および法線予測をペナルティ処理することで、時間的整合性を確保する。
• フレームワークはステレオデータを用いてメトリックスケールを回復し、単眼自己教師付き手法に一般的に見られるスケールの曖昧性を回避する。
• 予測された自己運動および深度に基づく微分可能なワーピング操作を用い、光度的一致性を用いてネットワークを監視する。

実験結果

リサーチクエスチョン

• RQ1 深度と表面法線の予測を共同で学習することで、自己教師付き単一画像3D再構築における幾何的推論が向上するか？
• RQ2 予測された深度マップから法線を導出する手法と比較して、専用の法線予測ネットワークを用いることで性能が向上するか？
• RQ3 逆深度と法線の整合性をソフト制約として用いることで、従来の深度平滑性正則化を上回る深度および法線推定が可能か？
• RQ4 動画系列における時間的幾何的整合性を組み込むことで、さらに予測精度が向上するか？
• RQ5 ステレオベースのビジョウ・オドメトリ訓練により、自己教師付き深度推定におけるスケールの曖昧性が解消されるか？

主な発見

• 提案手法はKITTIスプリットにおいて平均表面法線誤差30.23°を達成し、Yangら[11]（35.69°）およびYangら[12]（37.44°）を上回る。
• 中央値表面法線誤差は19.11°にまで低下し、ベースライン手法と比較して顕著に優れた法線推定品質を示している。
• 深度予測ネットワークは、より現実的な平滑な法線仮定の恩恵を受けることで、従来の自己教師付き深度ネットワークを大きく上回っている。
• 専用の法線CNNを用いることで、視覚的および定量的比較の両方で、予測された深度から導出される法線よりも高品質な法線が得られることを示している。
• 時間的整合性の組み込みにより性能がさらに向上し、平均誤差が30.37°から30.23°、中央値誤差が19.13°から19.11°に低下した。
• 視覚的結果から、予測された法線が平面領域で滑らかで、エッジをよりよく保持しているのに対し、深度から導出された法線はノイズが多くアーチファクトを含むことが確認された。