[論文レビュー] BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation

Qi Tang, Runmin Cong+5 more|arXiv (Cornell University)|Jul 27, 2021

Advanced Vision and Imaging参考文献 53被引用数 4

ひとこと要約

本論文では、追加の教師信号を用いずに、同時に深度マップのスーパーレゾリューション（DSR）と単眼深度推定（MDE）を実行する統合学習フレームワーク、BridgeNetを提案する。2つの特化したブリッジ—特徴レベルのガイダンスに用いる高周波数アテンションブリッジ（HABdg）と再構成レベルのフィードバックに用いるコンテンツガイダンスブリッジ（CGBdg）—を導入することで、タスク間で高周波数および構造的情報を効果的に転送し、特に大きなスケーリング要因において、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Depth map super-resolution is a task with high practical application requirements in the industry. Existing color-guided depth map super-resolution methods usually necessitate an extra branch to extract high-frequency detail information from RGB image to guide the low-resolution depth map reconstruction. However, because there are still some differences between the two modalities, direct information transmission in the feature dimension or edge map dimension cannot achieve satisfactory result, and may even trigger texture copying in areas where the structures of the RGB-D pair are inconsistent. Inspired by the multi-task learning, we propose a joint learning network of depth map super-resolution (DSR) and monocular depth estimation (MDE) without introducing additional supervision labels. For the interaction of two subnetworks, we adopt a differentiated guidance strategy and design two bridges correspondingly. One is the high-frequency attention bridge (HABdg) designed for the feature encoding process, which learns the high-frequency information of the MDE task to guide the DSR task. The other is the content guidance bridge (CGBdg) designed for the depth map reconstruction process, which provides the content guidance learned from DSR task for MDE task. The entire network architecture is highly portable and can provide a paradigm for associating the DSR and MDE tasks. Extensive experiments on benchmark datasets demonstrate that our method achieves competitive performance. Our code and models are available at https://rmcong.github.io/proj_BridgeNet.html.

研究の動機と目的

• 色ガイド付き深度スーパーレゾリューションにおけるテクスチャの複写や深度の漏れの課題に対処すること。これは、RGBと深度のモodal 間の不一致が特徴転送を妨げるためである。
• 追加の監視なしに、単眼深度推定を補助タスクとして活用することで、深度マップのスーパーレゾリューション性能を向上させること。
• DSRとMDEネットワーク間で双方向の知識移行を可能にする、ポータブルでマルチタスク学習可能なフレームワークを設計すること。
• 従来の方法が直接的な特徴またはエッジマップの転送に依存するのに対し、しばしばモダリティ固有の構造が不一致を起こすという限界を克服すること。
• 構造的でタスク固有の相互作用モジュールを用いて、深度スーパーレゾリューションと単眼深度推定の間の共同学習の新しいパラダイムを確立すること。

提案手法

• フレームワークは、エンドツーエンドの方法で、深度マップのスーパーレゾリューションネットワーク（DSRNet）と単眼深度推定ネットワーク（MDENet）を同時に学習する。
• 高周波数アテンションブリッジ（HABdg）は、MDENetエンコーダーから得た高周波数特徴を、DSRNetエンコーダーに選択的に転送し、エッジやテクスチャの詳細回復を向上させる。
• コンテンツガイダンスブリッジ（CGBdg）は、DSRNetデコーダーから得たコンテンツに適した特徴をMDENetデコーダーに提供し、再構成された深度コンテキストを通じて深度推定の精度を向上させる。
• モダリティ固有の情報を適切に転送するための差別化されたガイダンス戦略を採用し、RGBと深度の構造の不一致を回避する。
• 両タスクを同時に最適化するため、L1損失と知覚的損失を組み合わせたマルチタスク損失関数を用いる。
• アーキテクチャは非常にモジュール型であり、他の深度関連タスクへの容易な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 追加の監視なしに、深度マップのスーパーレゾリューションと単眼深度推定の共同学習が性能向上に寄与するか？
• RQ2 RGB画像からの高周波数ディテールを、テクスチャの複写を避けて、深度スーパーレゾリューションに効果的に転送する方法は何か？
• RQ3 モダリティ固有の構造的一致性を保つために、クロスタスク特徴相互作用を最適に構造化する方法は何か？
• RQ4 単眼深度推定を補助タスクとして用いることで、特に高スケーリング要因において、深度マップのスーパーレゾリューション性能が向上するか？
• RQ5 提案されたHABdgおよびCGBdgモジュールは、直接的な特徴連結やエッジベースのガイダンスと比較して、性能およびロバスト性に優れているか？

主な発見

• BridgeNetは、×8および×16のスケーリング要因において、Middlebury 2005データセットで最高の性能を達成し、MADが0.343と、すべてのベースラインを上回った。
• アブレーションスタディにより、HABdgとCGBdgの両方が不可欠であることが確認された。両者のいずれかを除去すると性能が低下し、特にHABdgが高周波数ディテール回復に顕著な貢献を示した。
• HABdgは単純な特徴連結よりもMADで0.033の改善（0.343 vs. 0.376）を示し、選択的でアテンションベースの特徴転送の有効性を裏付けた。
• 視覚的比較では、特に複雑なテクスチャ領域において、DSRNet単体と比較してBridgeNetがより鋭い境界とより正確な深度値を生成した。
• NYUv2データセットでも競争力のある結果を達成し、多様なリアルワールドシーンへの汎用性を確認した。
• 共同学習フレームワークにより、相互的な向上が実現した：DSRNetはMDEの高周波数特徴から利益を受け、MDENetはDSRNetのコンテンツに適した再構成から恩恵を受けた。