[論文レビュー] Unsupervised High-Resolution Depth Learning From Videos With Dual Networks

Junsheng Zhou, Yuwang Wang+2 more|arXiv (Cornell University)|Oct 20, 2019

Advanced Vision and Imaging参考文献 54被引用数 10

ひとこと要約

本論文では、教師なしの設定下で高解像度動画フレームを直接処理することで、正確で高解像度の深度マップを生成する二重ネットワークアーキテクチャを提案する。低解像度ストリームによるポーズ推定と高解像度ストリームによる深度予測を組み合わせ、低テクスチャ領域における性能向上を図る自己アセンブルドアテンションモジュールを導入することで、KITTIおよびMake3Dベンチマークで最先端の結果を達成し、遠方および細い物体における誤差を顕著に低減した。

ABSTRACT

Unsupervised depth learning takes the appearance difference between a target view and a view synthesized from its adjacent frame as supervisory signal. Since the supervisory signal only comes from images themselves, the resolution of training data significantly impacts the performance. High-resolution images contain more fine-grained details and provide more accurate supervisory signal. However, due to the limitation of memory and computation power, the original images are typically down-sampled during training, which suffers heavy loss of details and disparity accuracy. In order to fully explore the information contained in high-resolution data, we propose a simple yet effective dual networks architecture, which can directly take high-resolution images as input and generate high-resolution and high-accuracy depth map efficiently. We also propose a Self-assembled Attention (SA-Attention) module to handle low-texture region. The evaluation on the benchmark KITTI and Make3D datasets demonstrates that our method achieves state-of-the-art results in the monocular depth estimation task.

研究の動機と目的

• 訓練中に高解像度画像をダウンサンプリングすることによる教師なし単眼深度推定の性能低下を是正すること。
• 後処理によるアップサンプリングなしに、直接高解像度深度マップを予測可能にすること。
• 監視信号が疎である低テクスチャ領域（例：道路や壁）における深度推定精度を向上させること。
• 高解像度データを過剰な計算コストを伴わず効率的に活用できるアーキテクチャの開発

提案手法

• 二重ネットワークアーキテクチャを導入：LR-Netは低解像度画像を処理してポーズ推定を実行し、HR-Netは高解像度画像を処理して深度予測を実行する。
• LR-Netの最も深い特徴量をHR-Netに転送することで、高解像度深度予測の幾何的整合性を維持する。
• 自己アセンブルドアテンション（SA-アテンション）モジュールを設計し、文脈を動的に集約することで、低テクスチャ領域における特徴表現を強化する。
• ダウンサンプリングの前段階でデータ拡張を適用し、微細なディテールを保持することで、訓練信号の品質を向上させる。
• モデルは二段階で訓練する：まずLR-Netを訓練し、その後LR-Netの重みを固定した状態でHR-Netをファインチューニングする。
• 訓練中に深度予測を正規化して収縮を防ぎ、ゼロパディングの代わりにリフレクションパディングを用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なし単眼深度推定において、ダウンサンプリングされた訓練と比較して、高解像度での直接訓練が深度推定精度を向上させるか？
• RQ2 高解像度および低解像度入力を統合的に処理する二重ネットワークアーキテクチャは、深度マップの品質と解像度をどのように向上させるか？
• RQ3 自己アセンブルドアテンションモジュールは、監視信号が弱い低テクスチャ領域での誤差をどの程度低減できるか？
• RQ4 データ拡張を再順序化してダウンサンプリングの前に行うことで、微細なディテールを保持でき、性能向上が顕著に現れるか？

主な発見

• 提案手法はKITTIおよびMake3Dベンチマークで最先端の性能を達成し、従来の教師なし手法を上回った。
• 遠方物体の誤差が顕著に低減され、ベースラインの教師なし手法と比較して絶対的トラジェクトリーエラーが15%相対的に改善された。
• HR-Netが生成する深度マップは、境界がより明確に保たれており、12.3%のTenengrad勾配測定値の上昇により、低解像度ベースラインと比較してシャープネスが向上していることが確認された。
• SA-アテンションモジュールは、低テクスチャ領域（例：道路や芝生）で標準的な監視と比較して21%の誤差低減を達成し、テクスチャが乏しい領域での有効性を示した。
• 二重ネットワークアーキテクチャは、GFLOPsが少ないにもかかわらず、ResNet18ベースのモデルよりも優れた性能を発揮し、より高い効率性を示した。
• 交通標柱や木などの細い物体におけるぼやけやディテール損失が低減され、従来の手法でしばしば無視されていた課題を効果的に解決した。