[論文レビュー] X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation

Hong Cai, Janarbek Matai+4 more|arXiv (Cornell University)|Oct 24, 2021

Advanced Vision and Imaging参考文献 32被引用数 10

ひとこと要約

X-Distill は、事前学習済みのセマンティックセグメンテーション教師ネットワークから深度推定学生ネットワークへ、セマンティック知識を転送することで、自己教師付き単眼深度推定を向上させるクロスタスク知識蒸留フレームワークを提案する。トレーニング可能な深度からセグメンテーションへのアダプターネットワークを用いることで、セグメンテーションの監督信号を深度ネットワークへ逆誤差伝搬可能にし、推論コストを追加せずに KITTI および Make3D で最先端の性能を達成した。

ABSTRACT

In this paper, we propose a novel method, X-Distill, to improve the self-supervised training of monocular depth via cross-task knowledge distillation from semantic segmentation to depth estimation. More specifically, during training, we utilize a pretrained semantic segmentation teacher network and transfer its semantic knowledge to the depth network. In order to enable such knowledge distillation across two different visual tasks, we introduce a small, trainable network that translates the predicted depth map to a semantic segmentation map, which can then be supervised by the teacher network. In this way, this small network enables the backpropagation from the semantic segmentation teacher's supervision to the depth network during training. In addition, since the commonly used object classes in semantic segmentation are not directly transferable to depth, we study the visual and geometric characteristics of the objects and design a new way of grouping them that can be shared by both tasks. It is noteworthy that our approach only modifies the training process and does not incur additional computation during inference. We extensively evaluate the efficacy of our proposed approach on the standard KITTI benchmark and compare it with the latest state of the art. We further test the generalizability of our approach on Make3D. Overall, the results show that our approach significantly improves the depth estimation accuracy and outperforms the state of the art.

研究の動機と目的

• 高価な真値深度アノテーションを必要とせずに、自己教師付き単眼深度推定を向上させること。
• 事前学習済みのセグメンテーションネットワークから深度推定ネットワークへセマンティック知識を転送すること。
• 本質的に異なるタスクであるセマンティックセグメンテーションと深度推定の間でクロスタスク知識蒸留を可能にすること。
• 深度予測を偽セグメンテーションマップに変換するための軽量でトレーニング可能なアダプターネットワークを設計すること。
• 視覚的および幾何的特徴に基づく新しいオブジェクトグループ化戦略を考案し、セマンティック表現と深度構造の整合性を高めること。

提案手法

• 予測された深度マップを偽セグメンテーションマップに変換するための小型でトレーニング可能な深度からセグメンテーションへのアダプターネットワークを導入する。
• アダプターネットワークの出力を、事前学習済みのセマンティックセグメンテーション教師ネットワークによって監視することで、セマンティック知識を深度ネットワークに蒸留可能にする。
• トレーニング中に自己教師付き深度損失とセグメンテーション蒸留損失を線形スケジュールされた重み付け戦略で組み合わせる。
• セマンティッククラスと深度構造の間の整合性を向上させるために、視覚的および幾何的性質に基づく新しいオブジェクトグループ化スキームを設計する。
• 本手法は訓練時のみに作用し、推論時の計算負荷を追加しないため、効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのセグメンテーションネットワークからのセマンティック知識が、自己教師付き単眼深度推定を向上させることができるか？
• RQ2 出力が直接比較できない異なる視覚タスク（セマンティックセグメンテーションと深度推定）間で、知識を効果的に転送する方法は何か？
• RQ3 セグメンテーションの監督信号を深度ネットワークに逆誤差伝搬可能にするために、最適なクロスタスクアダプターネットワークを設計する方法は何か？
• RQ4 セマンティックセグメンテーションと深度推定の間で、転送可能性を最大化するためにオブジェクトクラスをどのようにグループ化すべきか？
• RQ5 提案手法は、異なる深度ネットワークアーキテクチャやデータセットに一般化可能か？

主な発見

• X-Distill は、KITTI における Monodepth2 (ResNet-50) の性能を向上させ、Abs Rel を 0.110 から 0.106、RMSE を 4.642 から 4.580 に改善した。
• 本手法は KITTI ベンチマークで最先端の性能を達成し、既存の自己教師付き手法を上回った。
• Make3D では、本手法が優れた一般化性能を示し、ドメインを越えた強度を確認した。
• アブレーションスタディの結果、定数重み付けよりも線形スケジュールされた損失重み付けが優れており、最適な性能は最終的な蒸留重み 0.0045 のときであった。
• 本手法は、Monodepth2 に RN18、RN50、DONNA バックボーンを用いた多様なアーキテクチャにおいて、深度推定精度の向上を示した。
• 本手法はハイパーパramータの変動に強く、最終的な蒸留損失重みに ±20% の変化があっても、性能に顕著な影響を示さなかった。