[論文レビュー] Discrete Cosine Transform Network for Guided Depth Map Super-Resolution

Zixiang Zhao, Jiangshe Zhang+3 more|arXiv (Cornell University)|Apr 14, 2021

Advanced Vision and Imaging参考文献 42被引用数 13

ひとこと要約

本稿では、解釈可能性でチャネル単位の最適化が可能な高分解能深度特徴の最適化に離散コサイン変換（DCT）を活用する、ガイド付き深度マップ超解像のための新規ディープラーニングフレームワーク、DCTNetを提案する。半結合型畳み込み特徴抽出とエッジに配慮したアテンションを統合することで、テクスチャの過剰伝搬を低減し、パrameter数を減らしながらも、×4、×8、×16の拡大率において複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Guided depth super-resolution (GDSR) is an essential topic in multi-modal image processing, which reconstructs high-resolution (HR) depth maps from low-resolution ones collected with suboptimal conditions with the help of HR RGB images of the same scene. To solve the challenges in interpreting the working mechanism, extracting cross-modal features and RGB texture over-transferred, we propose a novel Discrete Cosine Transform Network (DCTNet) to alleviate the problems from three aspects. First, the Discrete Cosine Transform (DCT) module reconstructs the multi-channel HR depth features by using DCT to solve the channel-wise optimization problem derived from the image domain. Second, we introduce a semi-coupled feature extraction module that uses shared convolutional kernels to extract common information and private kernels to extract modality-specific information. Third, we employ an edge attention mechanism to highlight the contours informative for guided upsampling. Extensive quantitative and qualitative evaluations demonstrate the effectiveness of our DCTNet, which outperforms previous state-of-the-art methods with a relatively small number of parameters. The code is available at \url{https://github.com/Zhaozixiang1228/GDSR-DCTNet}.

研究の動機と目的

• RGBテクスチャの過剰伝搬、非効率なクロスマダリティ特徴抽出、ディープラーニングモデルの解釈性の低さといった、ガイド付き深度超解像（GDSR）における課題に対処すること。
• 物理的インスピレーションを受けるDCTに基づく最適化モジュールを組み込むことで、GDSRにおけるディープニューラルネットワークの解釈性を向上させること。
• 低分解能の深度画像と高分解能のRGB画像から、深度の不連続性とモダリティ固有の詳細を保持したまま、効果的な特徴学習を可能にすること。
• 性能を損なわずにモデルの複雑さを低減し、少ないパrameterで高い精度を達成すること。

提案手法

• 特徴空間におけるチャネル単位の最適化問題を解くための離散コサイン変換（DCT）モジュールを導入し、高分解能深度特徴の解釈可能で効率的な再構成を可能にする。
• 共通の特徴を処理する共有畳み込みカーネルと、モダリティ固有の情報を処理するプライベートカーネルを用いる半結合型特徴抽出（SCFE）モジュールを採用し、相関性と独自性のバランスを取る。
• RGB特徴を用いてアテンション重みを生成するガイド付きエッジ空間アテンション（GESA）機構を統合し、より良いアップサンプリングガイドとして深度の不連続性に注目する。
• 深層アーキテクチャにおける訓練の安定化と特徴学習の向上を図るため、SCFEモジュールに残差スキップ接続を組み込む。
• 特徴精錬段階における標準的な畳み込み層の代わりに、最適化に基づくアプローチをディープラーニングフレームワークに埋め込むDCTベースのモジュールを設計する。
• DCTベースの最適化フレームワークを用いて、マルチモーダル特徴とアテンション重みを統合し、構造的忠実性の向上した高分解能深度マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 DCTに基づくモジュールは、ガイド付き深度超解像におけるディープラーニングモデルの解釈性と性能を向上させることができるか？
• RQ2 RGBと深度画像からの共有特徴とプライベート特徴を効果的に抽出・統合することで、テクスチャの過剰伝搬を低減できるか？
• RQ3 エッジに配慮したアテンションは、超解像においてRGBエッジと深度の不連続性の整合性をどの程度向上させるか？
• RQ4 最適化とディープラーニングのハイブリッドアプローチは、純粋にエンドツーエンドのディープラーニングモデルを上回り、少ないパrameterで性能を発揮できるか？
• RQ5 半結合型設計は、完全共有または独立型畳み込みフィルタと比較して、特徴表現と性能においてどのように差を示すか？

主な発見

• DCTNetは、複数のデータセット（例：NYUv2、KITTI、Middlebury）および拡大率（×4、×8、×16）において、定量的・定性的な両評価で、過去の最先端手法を上回る最良または第2位の性能を達成する。
• NYUv2データセットでは、×4でRMSEが0.717、×8で1.281、×16で1.852を記録し、優れた汎化性とロバストネスを示す。
• ファインチューニングなしで、RGBDDデータセットの実世界ブランチにおいても、先行手法より低いRMSEを達成し、汎化能力の高さを裏付ける。
• アブレーションスタディでは、DCTモジュールを削除するとパrameter数が増加し性能が低下するため、特徴精錬における有効性が実証された。
• 半結合型特徴抽出モジュールは、独立型および完全共有型フィルターよりも優れた性能を示し、特徴共有のバランスの重要性を強調する。
• DCTモジュールにおける学習可能なチューニング係数（λ̃）の使用は、固定値よりも性能を向上させることを示しており、適応的最適化の価値を示している。