[論文レビュー] SeasonDepth: Cross-Season Monocular Depth Prediction Dataset and Benchmark under Multiple Environments

Hanjiang Hu, Baoquan Yang+7 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Vision and Imaging参考文献 72被引用数 4

ひとこと要約

本稿では、構造から姿勢（SfM）およびマルチビューステレオ（MVS）パイプラインを用いて、複数の実環境（例：照明、葉の有無、天候の変化）で収集された、最初のクロスシーズンモノクローラル深度推定データセットおよびベンチマークであるSeasonDepthを紹介する。最先端の教師ありおよび自己教師あり深度モデルを評価し、現在の手法が環境変化にわたる一般化に苦労していることが判明した。また、SeasonDepthで微調整することで、KITTI や Cityscapes での事前学習よりも耐障害性が向上することを示した。

ABSTRACT

Different environments pose a great challenge to the outdoor robust visual perception for long-term autonomous driving, and the generalization of learning-based algorithms on different environments is still an open problem. Although monocular depth prediction has been well studied recently, few works focus on the robustness of learning-based depth prediction across different environments, e.g. changing illumination and seasons, owing to the lack of such a multi-environment real-world dataset and benchmark. To this end, the first cross-season monocular depth prediction dataset and benchmark, SeasonDepth, is introduced to benchmark the depth estimation performance under different environments. We investigate several state-of-the-art representative open-source supervised and self-supervised depth prediction methods using newly-formulated metrics. Through extensive experimental evaluation on the proposed dataset and cross-dataset evaluation with current autonomous driving datasets, the performance and robustness against the influence of multiple environments are analyzed qualitatively and quantitatively. We show that long-term monocular depth prediction is still challenging and believe our work can boost further research on the long-term robustness and generalization for outdoor visual perception. The dataset is available on https://seasondepth.github.io, and the benchmark toolkit is available on https://github.com/ SeasonDepth/SeasonDepth.

研究の動機と目的

• 季節の変化、照明、天候などの多様な環境条件にわたるモノクローラル深度推定を評価する実世界のデータセットが不足しているという問題に対処すること。
• 複数の環境変化にさらされた最先端の教師ありおよび自己教師あり深度推定モデルの一般化性と耐障害性をベンチマークすること。
• 長期的な耐障害性に関する系統的な評価と今後の研究を可能にするために、公開可能なデータセットとベンチマークツールキットを提供すること。
• 環境の変化が深度推定性能に与える影響を定量的および定性的に分析し、失敗モードと有望な方向性を同定すること。

提案手法

• CMU視覚局所化データセットを用いてSeasonDepthデータセットを構築し、RANSACおよび手動による後処理を施したSfMおよびMVSパイプラインを適用してスケールなしの高密度深度マップを生成した。
• 曇り、曇りが強い、低照度の太陽、葉の有無の変化といった複数の環境条件下で、同じ都市ルートに沿ってRGB画像と対応する深度マップを収集した。
• 環境間での性能の一貫性を評価するため、平均、分散、相対範囲を含む新しい評価指標を提案した。
• KITTIおよびCityscapesのリーダーブォードから代表的なオープンソースモデル（教師あり、ステレオベース、動画ベース、ドメイン適応手法）をベンチマーク化した。
• ドメイン一般化を評価するために、モデルをSeasonDepthで微調整しKITTIでテストする、および逆にKITTIで微調整しSeasonDepthでテストする、クロスデータセット評価を実施した。
• 正確な比較のため、スケールなしの深度予測に対して平均と分散のアライメントを適用した。

実験結果

リサーチクエスチョン

• RQ1 最先端のモノクローラル深度推定モデルは、季節の変化や照明の変化といった異なる環境条件下でどのように性能を発揮するか？
• RQ2 KITTI や Cityscapes で学習したモデルをSeasonDepthデータセットで微調整した際のドメインシフトの影響は何か？
• RQ3 多様な環境条件下で、平均性能と分散の両面において、どの深度推定手法がより優れた耐障害性と一貫性を示すか？
• RQ4 SeasonDepthで学習させることで、Cityscapesでの学習と比較してKITTIなどの他のデータセットへの一般化性能がどの程度向上するか？

主な発見

• 適切にチューニングされた大多数の深度推定モデルは、低照度の太陽や曇りの空といった環境条件下で一般化が著しく悪く、性能のばらつきが大きく、一貫性に欠ける。
• SeasonDepthで微調整したモデルは、Cityscapesで微調整したモデルよりもKITTIでの性能が向上しており、SeasonDepthがより多様で困難な環境変化を捉えていることが示唆された。
• SeasonDepthで微調整したモデルは、Cityscapesで微調整したモデルと比較して、絶対誤差相対誤差（absErrorRel）および二乗誤差相対誤差（sqErrorRel）の両面で著しく低い性能のばらつきを示しており、耐障害性が向上していることが示された。
• KITTIで事前学習したモデルの性能はSeasonDepthでは著しく低下しており、顕著なドメインシフトが生じ、現在のモデルが環境変化に対処する能力に限界があることが浮き彫りになった。
• スケールなしではあるが、SfM/MVSに基づく深度マップは、クロスデータセットの性能比較による妥当性の検証を通じて、学習および評価に十分な正確性を有していることが確認された。