[論文レビュー] Deconstructing Self-Supervised Monocular Reconstruction: The Design Decisions that Matter

Jaime Spencer, Chris Russell+2 more|arXiv (Cornell University)|Aug 2, 2022

Advanced Vision and Imaging被引用数 15

ひとこと要約

本論文は、現代的な設計選択を用いて16のSotAモデルを再実装することで、最先端の自己教師付き単眼深度推定手法を再評価した。その結果、バックボーンのアップグレードだけでも約25%の性能向上が得られ、しばしば新しいアーキテクチャを上回ることが判明した。修正されたベンチマークと、一般化の失敗や元の主張における改善の低減を露呈する新たな多様なデータセット（SYNS-Patches）を導入した。

ABSTRACT

This paper presents an open and comprehensive framework to systematically evaluate state-of-the-art contributions to self-supervised monocular depth estimation. This includes pretraining, backbone, architectural design choices and loss functions. Many papers in this field claim novelty in either architecture design or loss formulation. However, simply updating the backbone of historical systems results in relative improvements of 25%, allowing them to outperform the majority of existing systems. A systematic evaluation of papers in this field was not straightforward. The need to compare like-with-like in previous papers means that longstanding errors in the evaluation protocol are ubiquitous in the field. It is likely that many papers were not only optimized for particular datasets, but also for errors in the data and evaluation criteria. To aid future research in this area, we release a modular codebase (https://github.com/jspenmar/monodepth_benchmark), allowing for easy evaluation of alternate design decisions against corrected data and evaluation criteria. We re-implement, validate and re-evaluate 16 state-of-the-art contributions and introduce a new dataset (SYNS-Patches) containing dense outdoor depth maps in a variety of both natural and urban scenes. This allows for the computation of informative metrics in complex regions such as depth boundaries.

研究の動機と目的

• 一貫性があり公平なトレーニングおよび評価プロトコルを用いて、最先端の自己教師付き単眼深度推定手法を体系的に再評価すること。
• 長年の評価ベンチマークにおける根本的な欠陥を特定・是正し、それらが過去の研究における誇張された性能主張を生じさせてきたことを解明すること。
• 制御されたアブレーションを用いて、アーキテクチャ的および損失関数的革新の影響を分離して評価すること。
• 自動車用データセットを超えた一般化性能を評価するため、自然景観および都市部の景観を含む多様なシーンを有する新しいテストセット（SYNS-Patches）を導入すること。
• 一貫した比較が可能なモジュラーでオープンソースのコードベースを公開することで、再現可能性の高い研究を促進すること。

提案手法

• 一貫性のあるトレーニングと評価を保証するため、統一的でモジュラーなコードベースを用いて、16のSotA単眼深度推定モデルを再実装した。
• すべてのモデルにおいて、現代的なバックボーン（例：ResNet-18, ResNet-50）、事前学習、損失関数などの設計選択を標準化し、公平な比較を可能にした。
• 旧来のベンチマーク（KITTIなど）に存在する誤りを解消するため、修正済みの真値深度データを用いた。
• 一般化性能を評価するため、多様なシーン（森、都市部の住宅地、産業施設、屋内）にまたがる1175枚の画像を含む新しいテストデータセットSYNS-Patchesを導入した。
• 深度の整合性を図るため、画像ごとの中央値スケーリングを適用し、AbsRel、RMSE、エッジベースの精度、補完性、深度境界におけるFスコアといった指標を報告した。
• ファインチューニングなしで未観測データに対してモデルを評価することで、シーンカテゴリをまたがる耐性および転送性能をテストした。

実験結果

リサーチクエスチョン

• RQ1 公平で一貫した条件下で評価した場合、自己教師付き単眼深度推定における最近のアーキテクチャ的および損失関数的革新が、実際にどの程度の性能向上をもたらすのか？
• RQ2 過去のSotA論文で報告された性能向上の多くが、古くなったベースラインや誤った評価プロトコルに起因している割合はどの程度か？
• RQ3 自動車用データセットで学習したモデルは、森や都市部の住宅地など、複雑で多様な現実世界のシーンにどの程度一般化できるか？
• RQ4 バックボーン選択の真の影響は何か？ また、最近の手法的貢献と比較してどうなるか？
• RQ5 現在のモデルは、困難な深度の不連続性や細い構造に対してどの程度の性能を示すのか？ どのような指標が継続的な失敗モードを明らかにするか？

主な発見

• 現代的なバックボーン（例：ResNet-50）と標準化されたトレーニング手順を用いてレガシーモデルを再実装した結果、元のバージョンと比較して約25%の相対的性能向上が得られた。
• 多くの最近のSotA手法は、公平な条件下で再評価された際、顕著に低い相対的向上を示し、しばしば現代化されたレガシーベースラインを下回ることがわかった。
• Garg et al. (2016) は、KITTIおよびSYNS-Patchesの両方で上位に位置づけられ、特に3次元再構築およびエッジベースの指標で優れた性能を示した。
• すべてのモデルがSYNS-Patchesデータセットで著しく性能を低下させたことから、自動車分野を超えた一般化性能が著しく劣っていることが明らかになった。
• エッジベースの指標から、予測されたエッジはしばしば正確（約3pxの誤差）であるが、エッジの完全性は著しく低い（約26pxの誤差）ことが判明し、不連続性が欠落していることが示された。
• Monodepth2およびその変種は、細い構造や物体の境界での精度を向上させたが、依然として複雑な自然景観では失敗を示し、現在のアプローチにおける主要な制限を浮き彫りにした。