[論文レビュー] Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network

Huan Liu, Junsong Yuan+2 more|arXiv (Cornell University)|Oct 22, 2021

Advanced Vision and Imaging参考文献 45被引用数 5

ひとこと要約

本論文は、ステレオ画像で学習された教師ネットワークが偽の真値として高品質な視差マップを生成し、それを用いて単眼深度推定のための学生ネットワークを教師付きで学習する教師-生徒蒸留フレームワークを用いた、疑似教師付き単眼深度推定手法を提案する。本手法は、オクルージョンマップとセマンティックな監視を統合することで一般化性能を向上させ、困難な領域に対しても対処でき、KITTIベンチマークで最先端の性能を達成した。

ABSTRACT

Despite recent improvement of supervised monocular depth estimation, the lack of high quality pixel-wise ground truth annotations has become a major hurdle for further progress. In this work, we propose a new unsupervised depth estimation method based on pseudo supervision mechanism by training a teacher-student network with knowledge distillation. It strategically integrates the advantages of supervised and unsupervised monocular depth estimation, as well as unsupervised binocular depth estimation. Specifically, the teacher network takes advantage of the effectiveness of binocular depth estimation to produce accurate disparity maps, which are then used as the pseudo ground truth to train the student network for monocular depth estimation. This effectively converts the problem of unsupervised learning to supervised learning. Our extensive experimental results demonstrate that the proposed method outperforms the state-of-the-art on the KITTI benchmark.

研究の動機と目的

• 単眼深度推定における高品質なピxls単位の深度アノテーションの不足を、疑似監視を活用することで解決すること。
• 教師付き単眼学習の強みと、自己教師付きステレオ深度推定の強みを組み合わせ、性能を向上させること。
• 光度誤差による間接的監視や弱いステレオ一貫性に起因する、完全に自己教師付きの単眼手法の限界を軽減すること。
• オクルージョンマップとセマンティックな監視を組み込むことで、オクルージョン領域におけるモデルのロバスト性を向上させること。
• 蒸留による疑似監視が、直接的な深度監視がなくても競争力のある性能を達成できることを示すこと。

提案手法

• ステレオ画像ペアを用いて自己教師付きで学習された教師ネットワークが、正確な視差マップを生成し、これを偽の真値として用いる。
• 教師の視差マップを監視信号として用いて、学生ネットワークを教師付きで学習させ、自己教師付き学習を教師付き問題に変換する。
• オクルージョンマップを生成し、学生の学習中に、教師の予測が信頼できないとされる領域を示す。
• セマンティック表現を用いて、オクルージョン境界付近での教師ネットワークの性能を向上させ、偽の真値の品質を向上させる。
• 光度誤差、滑らかさ、一貫性の各項を組み合わせた多成分損失を用いて知識蒸留を実施し、学生の予測を偽ラベルに一致させる。
• 学生ネットワークは、偽の真値、オクルージョンマスク、セマンティック埋め込みの組み合わせを用いて、エンドツーエンドで学習させ、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ステレオ教師ネットワークから得られる疑似監視が、単眼深度推定の性能向上に寄与するか？
• RQ2 学生の学習中にオクルージョンマップを組み込むことで、曖昧またはオクルージョン領域の性能にどのような影響を与えるか？
• RQ3 セマンティックな監視が、教師ネットワークが信頼できる偽の真値を生成する能力をどの程度向上させるか？
• RQ4 提案された蒸留フレームワークは、既存の自己教師付きおよび半教師付き単眼深度推定手法を上回るか？
• RQ5 実際の深度監視が一切ない状態で学習された学生ネットワークが、最先端の性能を達成できるか？

主な発見

• 本手法は、KITTI 2015 eigen スプリットにおいて δ<1.25 スコアが 0.912 を達成し、実際の深度監視を用いた Guo et al. [27] よりも優れた性能を示した。
• 偽の真値、オクルージョンマップ、セマンティック監視の全組み合わせにより、KITTI 2012 における絶対相対誤差（Abs Rel）が 0.127 から 0.115 に低下した。
• セマンティック監視を組み込んだ教師ネットワークは、Abs Rel 誤差を 0.089 から 0.077 に低下させ、セマンティックブースティングの有効性を示した。
• 疑似監視を用いて学習された学生ネットワークは、元の Monodepth ResNet-50 ベースラインを上回り、KITTI 2012 におけるRMSEを 5.533 から 5.236 に低下させた。
• 定性的な結果から、物体の境界が明確になり、交通標識や車両の視差予測の失敗率が低下していることが確認された。
• アブレーションスタディにより、各構成要素（偽の真値、オクルージョンマップ、セマンティック監視）が性能向上に正の寄与をしていることが確認され、全モデルが最良の結果を達成した。