[論文レビュー] Compressed Depth Map Super-Resolution and Restoration: AIM 2024 Challenge Results

Marcos V. Conde, Florin-Alexandru Vasluianu+4 more|arXiv (Cornell University)|Sep 24, 2024

Advanced Vision and Imaging被引用数 7

ひとこと要約

この論文は、圧縮低解像度深度入力と高解像度RGBガイダンスを融合する複数の手法を比較し、圧縮深度マップ超解像と復元の AIM 2024 チャレンジ結果の主要結果表を提示する。

ABSTRACT

The increasing demand for augmented reality (AR) and virtual reality (VR) applications highlights the need for efficient depth information processing. Depth maps, essential for rendering realistic scenes and supporting advanced functionalities, are typically large and challenging to stream efficiently due to their size. This challenge introduces a focus on developing innovative depth upsampling techniques to reconstruct high-quality depth maps from compressed data. These techniques are crucial for overcoming the limitations posed by depth compression, which often degrades quality, loses scene details and introduces artifacts. By enhancing depth upsampling methods, this challenge aims to improve the efficiency and quality of depth map reconstruction. Our goal is to advance the state-of-the-art in depth processing technologies, thereby enhancing the overall user experience in AR and VR applications.

研究の動機と目的

• AR/VR 設定における圧縮された低解像度深度入力から高品質な深度マップを再構成する課題に取り組む。
• RGB ガイダンスと補助深度情報を用いたベースラインおよび深層モデルを含む多様な手法をベンチマークし比較する。
• 再構成精度と計算効率のトレードオフを分析する。
• 圧縮下の深度アップサンプリングに適した効果的なバックボーン戦略とトレーニングパラダイムを強調する。

提案手法

• HR RGB 画像から LR 深度を補助入力として用い、HR 深度マップを予測するエンコーダ-デコーダアーキテクチャを用いる。
• 事前学習済みバックボーン（例：Swin Transformer、DINOv2、DepthAnything）を活用し、条件付けメカニズムを介して微調整または適応を行う。
• 深度認識の最適化のためのスケーリングされた SiLog を含む損失関数を採用する。
• MAE と RMSE を用いて評価し、モデルサイズ（パラメータ数）と MACs を報告する。
• 圧縮下の深度アップサンプリングを強化するためのベースラインおよびアンサンブル／条件付け戦略を提供する。

Figure 1 : A graphical representation of the degradations suffered by a High-Resolution (HR) depth map (A), being mapped to its corresponding Low-Resolution (LR) version. Bitdepth reduction (B), spatial downscaling (C) and characteristic noise are applied to produce the Low-Quality (LQ) compressed d

実験結果

リサーチクエスチョン

• RQ1 RGB ガイダンスと補助低解像度深度情報を用いて、圧縮された LR 深度から HR 深度マップをどれくらい良好に再構成できるか。
• RQ2 画像ドメインモデルから圧縮下の深度マップ復元へ、どのアーキテクチャとバックボーンが最も適用可能か。
• RQ3 このタスクにおける最先端手法の精度（MAE/RMSE）と計算コスト（パラメータ数、MACs）のトレードオフはどうなるか。
• RQ4 補助的な低解像度深度情報を条件付けすることで、深度アップサンプリングの再構成品質を向上させられるか。

主な発見

手法	アンサンブル	+データ	MAE ↓	RMSE ↓	# パラメータ (M)	MACs (G)
UM-IT	Yes	No	0.212	0.375	274.33	76.67
DAS-Depth	No	Yes	0.294	0.432	335.3	586.57
DINOv2 + ControlNet	No	No	0.498	0.816	52	483
RGA Inc.	No	Yes	0.512	1.621	41.4	121
RAFT-DU	No	No	1.506	2.935	12	170
DAv2 ++	Yes	No	1.939	2.140	0.949	17.97
SGNet	No	No	1.337	1.854	-	-
Depth Anything V2	No	No	2.193	2.388	-	-
Bicubic Baseline	-	-	16.48	57.69	-	-

• RGB ガイダンス付きの深度アップサンプリングと補助 LR 深度を条件として用いた場合、トップ手法の MAE は約 0.212、RMSE は約 0.375 という結果が得られる。
• アンサンブルとデータ拡張戦略は性能向上と相関し、事前学習済みバックボーン（Swin、DINOv2、DepthAnything）は深度タスクへ再利用されることが多い。
• 単純な基準手法（例：Bicubic）は圧縮下で性能が低く、RGB コンテキストと深度事前情報を活用した学習型アップサンプリングの必要性を示している。
• トップ手法間でモデルサイズと FLOPs に大きなばらつきがあり、精度と効率のバランスをとる設計方針が異なることを示している。

Figure 2 : Samples from the Testing Phase split, consisting of the HR RGB image (A), the HR reference depth map (B), and the upscaled LR input depth map (C). The participants only have access to the HR RGB image and the LR Depth map.