[論文レビュー] RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation

Mu He, Le Hui+4 more|arXiv (Cornell University)|Jul 25, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

RA-Depthは、任意スケールのデータ拡張と二重高分解能ネットワークに加え、スケール間の深度一貫性損失を用いることで、自己教師ありモノクローラル深度推定法を提案し、再訓練なしに解像度の適応が可能であり、最先端の性能を達成する。この手法は、複数スケールの画像で学習し、スケール間の一貫性を強制することで、スケール不変の深度予測を学習し、再訓練なしに解像度の変更に対しても一般化性能が著しく向上する。

ABSTRACT

Existing self-supervised monocular depth estimation methods can get rid of expensive annotations and achieve promising results. However, these methods suffer from severe performance degradation when directly adopting a model trained on a fixed resolution to evaluate at other different resolutions. In this paper, we propose a resolution adaptive self-supervised monocular depth estimation method (RA-Depth) by learning the scale invariance of the scene depth. Specifically, we propose a simple yet efficient data augmentation method to generate images with arbitrary scales for the same scene. Then, we develop a dual high-resolution network that uses the multi-path encoder and decoder with dense interactions to aggregate multi-scale features for accurate depth inference. Finally, to explicitly learn the scale invariance of the scene depth, we formulate a cross-scale depth consistency loss on depth predictions with different scales. Extensive experiments on the KITTI, Make3D and NYU-V2 datasets demonstrate that RA-Depth not only achieves state-of-the-art performance, but also exhibits a good ability of resolution adaptation.

研究の動機と目的

• 自己教師ありモノクローラル深度推定において、テスト解像度が学習時と異なる場合に性能が低下するという問題に対処すること。
• 再訓練なしに、1つの学習済みモデルが複数の画像解像度に一般化できるようにすること。
• データ拡張と新規損失関数を用いて、シーンの深度のスケール不変性を暗黙的および明示的に学習すること。
• パラメータ数と計算量の低さを実現しつつ、正確な深度予測が可能な効率的な二重HRNetアーキテクチャを設計すること。

提案手法

• 入力画像をリサイズ、クロッピング、ステッチ処理によって異なるスケールの3枚の画像を生成する任意スケールのデータ拡張（AS-Aug）手法を提案し、画像の詳細を保持するとともに、多様なカメラ内部パrameterを模擬する。
• マルチパスエンコーダーとデコーダーを備えた二重高分解能ネットワーク（Dual HRNet）を採用し、スケール間で密な特徴の相互作用を可能にすることで、特徴の集約を向上させる。
• 同じシーンの異なるスケールの入力に対して一貫した深度予測を強制するスケール間深度一貫性損失を導入し、明示的にスケール不変性を学習する。
• 高分解像表現をネットワーク全体にわたって維持するため、バックボーンエンコーダーとしてHRNetを用いることで、特徴の忠実性と深度精度を向上させる。
• ステレオまたはモノクローラルシーケンスからの幾何的監督を用いて、教師なしでエンドツーエンドにモデルを学習する。この際、真値深度アノテーションは不要である。
• 深度監督損失と提案されたスケール間一貫性損失の組み合わせにより、ネットワークを最適化し、解像度間の一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモノクローラル深度推定モデルは、再訓練なしに異なる入力解像度に効果的に一般化できるか？
• RQ2 データ拡張をどのように設計すれば、シーンの深度のスケール不変性を暗黙的に学習させられるか？
• RQ3 複数スケールの入力からの深度予測の一貫性を明示的に強制することで、どのような影響が生じるか？
• RQ4 マルチスケール特徴統合を備えた二重高分解像ネットワークは、深度推定の精度と効率をどのように向上させるか？
• RQ5 軽量なモデルは、パラメータ数とFLOPsを低く抑えつつ、最先端の性能を達成できるか？

主な発見

• RA-DepthはKITTI、Make3D、NYU-V2の各データセットで最先端の性能を達成し、KITTIではAbsRelが0.096、SqRelが0.632、RMSEが4.216を記録した。
• 異なる解像度でテストした際、ベースラインと比較してAbsRelで29.6%、SqRelで41.4%、RMSEで22.2%の誤差低減を達成した。
• スケール間深度一貫性損失により、解像度適応性能が向上し、ベースライン比で精度（δ<1.25）が11.4%向上した。
• RA-Depthはわずか9.98Mパラメータと10.78 GFLOPsで最高性能を達成し、より大きなパラメータ数を有するモデルを上回った。
• 提案された任意スケールのデータ拡張（AS-Aug）は一般化性能を顕著に向上させ、画像の詳細を保持し、マルチスケール学習を可能にする点で、先行手法（Bian-Aug）を上回った。
• 二重HRNetアーキテクチャは効率的なマルチスケール特徴統合を可能にし、既存の最先端モデルと比較して、計算量とパラメータ数を低く抑えつつ高い精度を達成した。