[論文レビュー] Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline

Lingzhi He, Hongguang Zhu+7 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Vision and Imaging参考文献 40被引用数 7

ひとこと要約

本論文は、スマートフォンおよびLucid Heliosからの実際のセンサー対応関係を捉えた、大規模な実世界の低解像度（LR）および高解像度（HR）深度マップをペアで持つRGB-D-Dベンチマークデータセットを初めて紹介する。本研究では、RGB画像からの高周波成分を用いてマルチスケールの拡張特徴をガイドする高速深度スーパーレゾリューション（FDSR）ベースラインを提案し、再構成精度と効率性を向上させ、公開および実世界の深度マップSRタスクで最先端の性能を達成。境界の保持が優れており、深度誤差も低減されている。

ABSTRACT

Depth maps obtained by commercial depth sensors are always in low-resolution, making it difficult to be used in various computer vision tasks. Thus, depth map super-resolution (SR) is a practical and valuable task, which upscales the depth map into high-resolution (HR) space. However, limited by the lack of real-world paired low-resolution (LR) and HR depth maps, most existing methods use downsampling to obtain paired training samples. To this end, we first construct a large-scale dataset named "RGB-D-D", which can greatly promote the study of depth map SR and even more depth-related real-world tasks. The "D-D" in our dataset represents the paired LR and HR depth maps captured from mobile phone and Lucid Helios respectively ranging from indoor scenes to challenging outdoor scenes. Besides, we provide a fast depth map super-resolution (FDSR) baseline, in which the high-frequency component adaptively decomposed from RGB image to guide the depth map SR. Extensive experiments on existing public datasets demonstrate the effectiveness and efficiency of our network compared with the state-of-the-art methods. Moreover, for the real-world LR depth maps, our algorithm can produce more accurate HR depth maps with clearer boundaries and to some extent correct the depth value errors.

研究の動機と目的

• 実世界の深度マップスーパーレゾリューション（SR）における、現実的でペア化されたトレーニングデータの欠如によるギャップを埋めるため。
• 実世界のシナリオにおいて、微細なディテールと境界を保持する高速で正確な深度SRモデルを開発するため。
• 合成されたダウンサンプリングデータとは異なり、実際のセンサー特性を反映し、一般化性能を向上させるベンチマークデータセットとベースラインを提供するため。
• 実際のペアデータで学習させることで、従来のダウンサンプリングベースの手法と比較して、実際のLR深度マップに対する性能が顕著に向上することを示すため。

提案手法

• スマートフォンおよびLucid Heliosセンサーを用いて、屋内および屋外のシーンをカバーする4,811組の実世界のLRおよびHR深度マップを含むRGB-D-Dデータセットを構築。
• RGB画像からの高周波成分を抽出・ガイドすることで、深度マップ再構成を向上させる高周波層（HFL）を備えたFDSRベースラインを設計。
• 異なる受容 field をカバーする文脈的情報を捉えるためにマルチスケールの拡張畳み込み構造を実装。同時に低周波成分を抑制することでパrameter数を削減。
• 2段階のトレーニング戦略を採用：まずダウンサンプリングされたデータで初期化し、その後、実際のペアLR/HR深度マップで微調整することで、実際のセンサーのノイズとアーティファクトをモデル化。
• テスト時に実際の入力条件を模倣するため、欠損した穴を埋めるためにカラー化処理を実施。
• ピクセルレベルの正確性と構造的忠実性の両立を図るため、L1損失と知覚的損失を組み合わせた損失関数を採用。

実験結果

リサーチクエスチョン

• RQ1 合成されたダウンサンプリングデータと比較して、実世界のベンチマークデータセットは、実際のLR深度マップに対する深度マップスーパーレゾリューションモデルの性能を向上させることができるか？
• RQ2 RGB画像からの高周波ガイドが、深度マップスーパーレゾリューションの品質と効率性にどのように影響を与えるか？
• RQ3 実際のペアLRおよびHR深度マップで学習させることで、ダウンサンプリングデータで学習させた場合と比較して、より良い一般化性能と正確性が得られるか？
• RQ4 提案されたFDSRモデルは、挑戦的な実世界のシナリオにおいて、鋭い境界をどれほど保持し、深度値の誤差をどれほど低減できるか？
• RQ5 提案手法は、モバイルおよび組み込みプラットフォームに適した、高い正確性と高速な推論速度を両立できるか？

主な発見

• RGB-D-Dデータセットにおいて、×4スケーリングでRMSEが1.11を達成し、既存手法を上回った。さらに、×8では1.11、×16では3.01まで改善された。
• 穴やノイズを含む実世界のLR深度マップにおいて、FDSRは×4スケーリングでRMSEを1.15まで低減し、ベースライン手法が正確な深度値を回復できなかったのと比較して顕著に優れた性能を示した。
• アブレーションスタディにより、高周波層（HFL）と高周波ガイド付きブロック（HFGB）の両方が不可欠であることが確認された。HFL単体ではRMSEが0.07低下、HFGB単体では0.03低下した。
• ダウンサンプリングデータで学習した場合と比較して、実際のペアデータ（RGB-D-D）で学習させることでRMSEが12.47%低減した。これは、実世界性能に現実的データの重要性を示している。
• 視覚的結果では、FDSRが特に照明状況が厳しい状況や穴のある入力において、鋭い境界とより正確な深度値を生成した。
• FDSRモデルは標準GPUで1枚あたり0.10秒の推論速度を達成し、モバイルおよび組み込みデバイスにおけるリアルタイム応用に適している。