[論文レビュー] Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution

Xibin Song, Yuchao Dai+5 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Vision and Imaging参考文献 48被引用数 7

ひとこと要約

本稿では、異なる深度センサーに起因する現実世界の劣化に対処するため、チャネル注目メカニズムを用いた反復的残差学習フレームワークを、深度マップのスーパーレゾリューション（DSR）に提案する。非線形ダウンサンプリングとノイズ、および間隔ダウンサンプリングを別々にモデル化することで、深層監督付き反復的残差学習、チャネル注目、マルチステージ統合、TGVに基づく精緻化を用いて、合成および現実世界の深度マップの両方で最先端の性能を達成する。特に、困難な間隔ダウンサンプリングおよびノイズ条件下でも優れた性能を示す。

ABSTRACT

Despite the remarkable progresses made in deep-learning based depth map super-resolution (DSR), how to tackle real-world degradation in low-resolution (LR) depth maps remains a major challenge. Existing DSR model is generally trained and tested on synthetic dataset, which is very different from what would get from a real depth sensor. In this paper, we argue that DSR models trained under this setting are restrictive and not effective in dealing with real-world DSR tasks. We make two contributions in tackling real-world degradation of different depth sensors. First, we propose to classify the generation of LR depth maps into two types: non-linear downsampling with noise and interval downsampling, for which DSR models are learned correspondingly. Second, we propose a new framework for real-world DSR, which consists of four modules : 1) An iterative residual learning module with deep supervision to learn effective high-frequency components of depth maps in a coarse-to-fine manner; 2) A channel attention strategy to enhance channels with abundant high-frequency components; 3) A multi-stage fusion module to effectively re-exploit the results in the coarse-to-fine process; and 4) A depth refinement module to improve the depth map by TGV regularization and input loss. Extensive experiments on benchmarking datasets demonstrate the superiority of our method over current state-of-the-art DSR methods.

研究の動機と目的

• 合成データで訓練された既存のDSR手法が、現実世界の深度センサーによる劣化に対しては失敗するというギャップを埋める。
• 2種類の異なる現実世界の深度マップ劣化をモデル化する：深度依存のノイズを伴う非線形ダウンサンプリング、および3次元点群からの間隔ダウンサンプリング。
• 多様な深度センサーおよび現実世界のシナリオに適応可能な軽量で汎用性の高いDSRフレームワークを開発する。
• スーパーレゾリューション深度マップにおける高周波成分の回復と境界の正確性を向上させる。

提案手法

• 非線形ダウンサンプリングと深度依存ノイズ、およびLiDARに類似した深度マップのための間隔ダウンサンプリングを別々にモデル化する2段階の劣化モデリング手法を導入。
• 粗〜細かい順にHR深度マップを段階的に精緻化するため、深層監督付きの反復的残差学習モジュールを採用。
• 高周波成分に富む特徴チャネルを動的に強調するため、チャネル注目メカニズムを統合。
• 複数の段階での特徴を再統合することで、構造的一致性と詳細回復を向上させるマルチステージ統合モジュールを採用。
• 全般化された変動（TGV）正則化と入力再構成損失を用いた深度精緻化モジュールを適用し、鋭いエッジを保持し、アーチファクトを低減。
• 最終統合層を除き、サブネットワーク間で重みを共有することで、パラメータ数を60%削減しながら性能を維持。

実験結果

リサーチクエスチョン

• RQ1 合成データで訓練されたDSRモデルは、異なる劣化パターンを示す現実世界の深度マップに効果的に一般化できるか？
• RQ2 LiDARセンサーで一般的な間隔ダウンサンプリングは、bi-cubic劣化と比較して構造的および周波数的特性でどのように異なるか？
• RQ3 チャネル注目を組み合わせた反復的残差学習は、低解像度深度マップにおける高周波成分の回復を向上させられるか？
• RQ4 マルチステージ特徴統合とTGVに基づく精緻化は、スーパーレゾリューション深度マップにおける構造的忠実性と境界の正確性を向上させるか？
• RQ5 重み共有は、精度を損なわせることなくモデルの効率性と性能にどのように影響を与えるか？

主な発見

• 提案手法は、実際のLiDARデータから得られた間隔ダウンサンプリング深度マップにおいて、RMSEが最低となり、SOTA手法を大きく上回る性能を達成。
• 深度依存ノイズを追加したbi-cubic劣化深度マップにおいても、RMSEが最良であり、ノイズ耐性が優れていることが示された。
• 定性的な結果では、特に複雑なテクスチャや鋭いエッジ部において、SOTAベースラインと比較してよりシャープで正確な境界が得られている。
• 微調整なしにSUN RGB-D、Apolloscape、ICL、Laserscanなど多様なデータセットに良好に一般化しており、強力なドメイン一般化能力を示した。
• 重み共有版ではパラメータ数を60%削減しながらも、非重み共有バージョンと同等の性能を維持しており、効率的かつ実装可能であることが示された。
• アブレーションスタディにより、チャネル注目とマルチステージ統合が特徴表現と再構成品質を顕著に向上させていることが確認された。