[論文レビュー] Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution

Zixiang Zhao, Jiangshe Zhang+6 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、ガイド付き深度マップ超解像のための新規な球面空間特徴分解ネットワーク、SSDNetを提案する。この手法は、Restormerベースのエンコーダーを活用してクロスモーダル特徴を抽出し、それらを球面空間にマップすることでドメイン共有特徴とドメイン固有特徴の効果的な分離を実現し、ぼやけたエッジ、ノイジーな表面、過剰に転送されたRGBテクスチャに対処するための球面コントラスト精錬モジュールを採用する。本手法は、パrameter数が少なく、実世界のシーンにおいても優れた汎化性能を示し、最先端の性能を達成する。

ABSTRACT

Guided depth map super-resolution (GDSR), as a hot topic in multi-modal image processing, aims to upsample low-resolution (LR) depth maps with additional information involved in high-resolution (HR) RGB images from the same scene. The critical step of this task is to effectively extract domain-shared and domain-private RGB/depth features. In addition, three detailed issues, namely blurry edges, noisy surfaces, and over-transferred RGB texture, need to be addressed. In this paper, we propose the Spherical Space feature Decomposition Network (SSDNet) to solve the above issues. To better model cross-modality features, Restormer block-based RGB/depth encoders are employed for extracting local-global features. Then, the extracted features are mapped to the spherical space to complete the separation of private features and the alignment of shared features. Shared features of RGB are fused with the depth features to complete the GDSR task. Subsequently, a spherical contrast refinement (SCR) module is proposed to further address the detail issues. Patches that are classified according to imperfect categories are input into the SCR module, where the patch features are pulled closer to the ground truth and pushed away from the corresponding imperfect samples in the spherical feature space via contrastive learning. Extensive experiments demonstrate that our method can achieve state-of-the-art results on four test datasets, as well as successfully generalize to real-world scenes. The code is available at \url{https://github.com/Zhaozixiang1228/GDSR-SSDNet}.

研究の動機と目的

• ガイド付き深度マップ超解像の文脈で、RGBと深度モダリティ間のドメイン共有特徴とドメイン固有特徴を効果的に抽出・区別する課題に対処すること。
• 深度マップ超解像における3つの主要な詳細問題、すなわちぼやけたエッジ、ノイジーな表面、過剰に転送されたRGBテクスチャを軽減すること。
• 球面特徴空間を用いてクロスモダリティ特徴のアライメントと分離を向上させることで、スケールに敏感な特徴空間におけるユークリッド距離の限界を回避すること。
• 微調整なしに合成データおよび実世界の深度マップデータセットの両方で優れた性能を発揮する、軽量で汎化性の高いモデルを開発すること。

提案手法

• 本手法は、低解像度の深度マップと高解像度のRGB画像から局所的・グローバルな特徴を抽出するために、Restormerブロックをエンコーダーとして採用する。
• 抽出された特徴は球面空間にマップされ、ドメイン固有特徴の強固な分離とドメイン共有特徴のアライメントを可能にする。
• 球面コントラスト精錬（SCR）モジュールは、コントラスト学習を用いて、球面空間内でのパッチ特徴を正解に近づけ、不完全なサンプルから遠ざける。
• ピクセル単位の再構成損失、特徴分離損失、球面空間内のアライメント損失を含むマルチ損失学習目的関数を採用する。
• デコーダーもRestormerブロックに基づいており、精錬された特徴から高解像度の深度マップを再構成する。
• 本フレームワークは、深度不連続性を保持し、テクスチャアーチファクトを低減することを重視して、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 球面空間特徴分解は、ガイド付き深度超解像におけるRGBと深度特徴間のクロスモーダル依存性のモデリングを改善できるか？
• RQ2 球面コントラスト学習は、深度マップ再構成におけるぼやけたエッジや過剰に転送されたRGBテクスチャといった一般的なアーチファクトをどれほど効果的に低減できるか？
• RQ3 球面空間においてドメイン共有特徴とドメイン固有特徴を分離することで、ユークリッドベースの手法と比較して実世界の深度マップデータに対する汎化性能が向上するか？
• RQ4 本手法は、複数のデータセットおよび超解像係数において、定量的指標と視覚的品質の両面で、既存の最先端手法をどの程度上回るか？

主な発見

• SSDNetは、×4、×8、×16のスケーリング要因において、RGBDD、Middleburyなど4つのベンチマークデータセットで最先端の性能を達成し、PSNRとSSIMの両面で顕著な向上を示した。
• 微調整なしに実世界のシーンにおいても優れた汎化性能を示し、RGBDDデータセットの実世界ブランチにおいてRMSEで先行手法を上回った。
• アブレーションスタディの結果、球面特徴分解とSCRモジュールが性能に不可欠であることが確認され、いずれのコンponentを削除しても性能低下が生じた。
• 競合手法よりも少ないパラメータ数で軽量なアーキテクチャを維持しており、計算効率が高く、リアルタイムデプロイの可能性を示した。
• 球面空間距離測定は、ℓ₂距離よりも特徴分離とアライメントにおいて優れた性能を示し、クロスモダリティ特徴学習に適していることを裏付けた。
• 視覚的比較では、SSDNetがシャープなエッジとクリアな表面を生成し、テクスチャアーチファクトが低減されていることが確認され、主な詳細問題への有効性が裏付けられた。