[論文レビュー] Deep Digging into the Generalization of Self-Supervised Monocular Depth Estimation

Jin Woo Bae, Sungho Moon+1 more|arXiv (Cornell University)|May 23, 2022

Image Processing Techniques and Applications被引用数 7

ひとこと要約

この論文は、自己教師付き単眼深度推定の一般化を、バックボーンネットワーク（CNN、トランスフォーマー、ハイブリッド）の分析を通じて調査し、形状バイアスの強いモデルがテクスチャーバイアスの強いモデルよりも一般化性能に優れることを明らかにした。著者らは、マルチレベルの適応的特徴統合を備えたCNN-TransformerハイブリッドであるMonoFormerを提案し、形状バイアスを強化するとともに局所的なインダクティブバイアスを維持することで、多様で未学習のデータセットにおいて最先端の性能と優れた一般化性能を達成した。

ABSTRACT

Self-supervised monocular depth estimation has been widely studied recently. Most of the work has focused on improving performance on benchmark datasets, such as KITTI, but has offered a few experiments on generalization performance. In this paper, we investigate the backbone networks (e.g. CNNs, Transformers, and CNN-Transformer hybrid models) toward the generalization of monocular depth estimation. We first evaluate state-of-the-art models on diverse public datasets, which have never been seen during the network training. Next, we investigate the effects of texture-biased and shape-biased representations using the various texture-shifted datasets that we generated. We observe that Transformers exhibit a strong shape bias and CNNs do a strong texture-bias. We also find that shape-biased models show better generalization performance for monocular depth estimation compared to texture-biased models. Based on these observations, we newly design a CNN-Transformer hybrid network with a multi-level adaptive feature fusion module, called MonoFormer. The design intuition behind MonoFormer is to increase shape bias by employing Transformers while compensating for the weak locality bias of Transformers by adaptively fusing multi-level representations. Extensive experiments show that the proposed method achieves state-of-the-art performance with various public datasets. Our method also shows the best generalization ability among the competitive methods.

研究の動機と目的

• 訓練中に見られなかった多様な未学習データセットにおける自己教師付き単眼深度推定モデルの一般化性能を調査すること。
• テクスチャーバイアスと形状バイアスの特徴表現がモデルの一般化に与える影響を分析すること。
• CNN（テクスチャーバイアス）とトランスフォーマー（形状バイアス）の深度推定におけるトレードオフを理解すること。
• 形状バイアスを強化するとともに、トランスフォーマーの弱い局所的インダクティブバイアスを補完するハイブリッドアーキテクチャを設計すること。
• 複数の公開ベンチマークで最先端の性能と頑健な一般化性能を達成すること。

提案手法

• 著者らは、訓練時に使用されなかった多様で分布外のデータセットに対して最先端のモデルを評価した。
• モデルがテクスチャーや形状の手がかりにどれほど依存しているかを調査するため、データセットにテクスチャーシフトを加えたバージョンを生成した。
• 異なる受容 field スケールでCNNとトランスフォーマーの特徴を統合するマルチレベルの適応的特徴統合モジュールを導入した。
• ハイブリッドネットワークであるMonoFormerは、CNNで局所的特徴学習を行い、トランスフォーマーでグローバルな文脈モデリングを行う。
• 適応的統合メカニズムは、空間的およびチャネルワイドの関連性に基づいて特徴を動的に重み付けする。
• 画像再構成と深度一貫性の目的関数を用いて、自己教師付きでモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き単眼深度推定において、異なるバックボーンアーキテクチャ（CNN、トランスフォーマー、ハイブリッド）は、未学習のデータセットにどの程度一般化するか？
• RQ2 テクスチャーバイアスと形状バイアスの特徴表現は、一般化性能にどの程度影響を及えるか？
• RQ3 CNN-Transformerハイブリッドアーキテクチャは、形状バイアスと局所的インダクティブバイアスのバランスを取ることで、一般化性能を向上させることができるか？
• RQ4 適応的マルチレベル特徴統合は、深度推定の性能とロバストネスをどのように向上させるか？
• RQ5 形状バイアスを高めることで、自己教師付き深度推定における一般化性能が向上するか？

主な発見

• テクスチャーシフトデータセットの評価により、トランスフォーマーは強い形状バイアスを示す一方、CNNは強いテクスチャーバイアスを示すことが確認された。
• 分布外のデータセットにおいて、形状バイアスの強いモデルは、テクスチャーバイアスの強いモデルよりも顕著に優れた一般化性能を示した。
• 提案されたMonoFormerは、KITTI、Cityscapes、NYU Depth v2を含む複数の公開ベンチマークで最先端の性能を達成した。
• 多様で未学習のデータセットにおいて、MonoFormerは他の競合手法と比較して最も優れた一般化能力を示した。
• マルチレベルの適応的特徴統合機構は、トランスフォーマーのグローバルな文脈とCNNの局所的インダクティブバイアスを効果的にバランスさせた。
• アブレーションスタディにより、形状バイアスを高めることで一般化性能が向上することが確認され、MonoFormerの設計直観が裏付けられた。