[論文レビュー] Unsupervised Monocular Depth Estimation in Highly Complex Environments

Chaoqiang Zhao, Yang Tang+1 more|arXiv (Cornell University)|Jul 28, 2021

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、夜間や雨の夜間のような光度的一致性が崩壊する極めて複雑な環境における単眼深度推定のための、教師なし画像間ドメイン変換フレームワーク、ITDFAを提案する。特徴空間と出力空間の両方における制約を適用し、画像品質に配慮した損失再重み付け機構を統合することで、教師なしで最先端の性能を達成し、低照度および雨天下での深度推定精度を顕著に向上させた。

ABSTRACT

With the development of computational intelligence algorithms, unsupervised monocular depth and pose estimation framework, which is driven by warped photometric consistency, has shown great performance in the daytime scenario. While in some challenging environments, like night and rainy night, the essential photometric consistency hypothesis is untenable because of the complex lighting and reflection, so that the above unsupervised framework cannot be directly applied to these complex scenarios. In this paper, we investigate the problem of unsupervised monocular depth estimation in highly complex scenarios and address this challenging problem by adopting an image transfer-based domain adaptation framework. We adapt the depth model trained on day-time scenarios to be applicable to night-time scenarios, and constraints on both feature space and output space promote the framework to learn the key features for depth decoding. Meanwhile, we further tackle the effects of unstable image transfer quality on domain adaptation, and an image adaptation approach is proposed to evaluate the quality of transferred images and re-weight the corresponding losses, so as to improve the performance of the adapted depth model. Extensive experiments show the effectiveness of the proposed unsupervised framework in estimating the dense depth map from highly complex images.

研究の動機と目的

• 光度的一致性が崩壊するような、夜間や雨の夜間のような複雑な環境における教師なし単眼深度推定の失敗を解消すること。
• 動的照明や低照度条件下で失敗する、光度的一致性に依存する従来の教師なしフレームワークの限界を克服すること。
• 教師データを一切使用せず、昼間のモデルから夜間および雨の夜間シナリオへの深度知識の転送を可能にするドメイン変換フレームワークを開発すること。
• 画像転送品質の不安定性に対する耐性を高めるために、品質に配慮した損失再重み付け機構を導入し、ドメイン変換のロバスト性を向上させること。
• シナリオ固有のエンコーダと共有デコーダを組み合わせることで、多様な環境条件下での自律システムへの実用的導入を可能にすること。

提案手法

• ドメイン変換のための画像間変換ネットワークを用いて、事前学習済みの昼間深度モデルを夜間および雨の夜間シナリオに適応させる。
• 特徴空間（特徴レベルの一貫性損失を介して）と出力空間（深度予測の一貫性損失を介して）の両方に同時に制約を課し、ドメイン間の表現を一致させる。
• 転送された画像の信頼性を評価する品質に配慮した画像適応モジュールを導入し、劣悪な翻訳からのノイズを低減するために、光度損失を動的に再重み付ける。
• 大規模なドメインギャップを埋めるために、二段階の適応戦略（昼 → 夜 → 雨の夜）を採用し、極めて困難なシナリオでの性能を向上させる。
• 完全に教師なしの方法でフレームワーク全体を訓練し、ペア画像や教師付き深度ラベルに依存せず、単眼画像シーケンスとカメラパラメータのみを用いる。
• すべての適応モデルで共有デコーダを活用することで、変則的な天候や照明条件下でも自律システムにおける効率的なデプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 光度的一致性が崩壊するような、夜間や雨の夜間のような極めて複雑な環境において、教師なし単眼深度推定を効果的に拡張できるか？
• RQ2 教師データなしで、昼間から夜間シナリオへの深度知識の転送をドメイン変換によってどのように実現できるか？
• RQ3 特徴空間と出力空間の両方の制約は、深度推定のドメイン変換性能向上にどのような役割を果たすか？
• RQ4 画像転送品質の不安定性はドメイン変換にどのように影響を及ぼし、動的損失再重み付けによってこれを緩和できるか？
• RQ5 複数ステップのドメイン変換（例：昼 → 夜 → 雨の夜）は、ドメインギャップが大きなシナリオで性能を向上させるか？

主な発見

• 提案されたITDFAフレームワークは、最先端の教師なし手法（例：monodepth2）と比較して、夜間シナリオにおいて優れた深度推定性能を達成した。
• より困難な雨の夜間シナリオにおいても、monodepth2および直接的に昼から雨の夜間に適応させたドメイン適応モデルを上回り、そのロバスト性を示した。
• 二段階の適応戦略（ITDFA d2n2r）は、直接的適応（ITDFA d2r）よりも優れた性能を示し、多段階適応が大規模なドメインギャップを効果的に埋めることを確認した。
• 特徴空間と出力空間の両方の制約を組み合わせることで、単一の制約よりも優れた性能が得られ、特に出力空間の制約がエンコーダ学習を効果的にガイドすることが分かった。
• 転送画像の品質に基づいて損失を再重み付する画像適応手法は、特に低照度および反射的条件下で、深度推定精度を顕著に向上させ、誤差を低減した。
• 共有デコーダを用いることで、多様な環境条件下でも高い性能を維持でき、変則的な天候や照明条件下での自律システムへの実用的デプロイメントを可能にした。