[論文レビュー] Deformable kernel networks for guided depth map upsampling

Beom‐Jun Kim, Jean Ponce+1 more|arXiv (Cornell University)|Mar 27, 2019

Advanced Vision and Imaging参考文献 27被引用数 12

ひとこと要約

本論文は、低解像度深度マップと高解像度カラー画像から空間的に変化するスパースなカーネル重みと適応的ネイバーサンプリングを学習することで、ガイド付き深度マップアップサンプリングを実現する可変カーネルネットワーク（DKN）を提案する。本手法はNYUv2でSOTAを更新し、RMSEが前人を30–50%低く抑えられる。高速版（FDKN）はDKNの17倍高速で、高い精度を維持している。

ABSTRACT

We address the problem of upsampling a low-resolution (LR) depth map using a registered high-resolution (HR) color image of the same scene. Previous methods based on convolutional neural networks (CNNs) combine nonlinear activations of spatially-invariant kernels to estimate structural details from LR depth and HR color images, and regress upsampling results directly from the networks. In this paper, we revisit the weighted averaging process that has been widely used to transfer structural details from hand-crafted visual features to LR depth maps. We instead learn explicitly sparse and spatially-variant kernels for this task. To this end, we propose a CNN architecture and its efficient implementation, called the deformable kernel network (DKN), that outputs sparse sets of neighbors and the corresponding weights adaptively for each pixel. We also propose a fast version of DKN (FDKN) that runs about 17 times faster (0.01 seconds for a HR image of size 640 x 480). Experimental results on standard benchmarks demonstrate the effectiveness of our approach. In particular, we show that the weighted averaging process with 3 x 3 kernels (i.e., aggregating 9 samples sparsely chosen) outperforms the state of the art by a significant margin.

研究の動機と目的

• 固定または学習された空間的に不変なカーネルに依存するのではなく、空間的に変化するスパースなカーネル重みとネイバーサンプリングを学習することで、深度マップアップサンプリングを向上させること。
• エンドツーエンドで可変するサンプリング位置と対応する重みを学習することで、サブピクセルレベルの情報集約を可能にすること。
• 元のDKNより17倍高速に動作するが、高い精度を維持する高速推論バージョン（FDKN）を開発すること。
• ガイドなしでLR深度マップのみから学習する場合でも、9個のスパースサンプルを用いることでSOTA性能を達成できることを示すこと。
• カーネルサイズ、特徴抽出、深度とカラー入力の併用がアップサンプリング精度に与える影響を調査すること。

提案手法

• DKNアーキテクチャは、CNNを用いて各画素に対して空間的に変化するスパースなネイバーと対応する重みを学習し、特徴の非一様な適応的集約を可能にする。
• ネットワークは各画素のオフセットと重みを予測し、規則的なグリッドを超えたサブピクセルサンプリングと柔軟な近傍選択を可能にする。
• 重み付き平均化の定式化を採用：$\hat{f}_{\mathbf{p}} = \sum_{\mathbf{q} \in \mathcal{N}(\mathbf{p})} W_{\mathbf{p}\mathbf{q}}(g) f_{\mathbf{q}}$ ここで $W_{\mathbf{p}\mathbf{q}}$ と $\mathcal{N}(\mathbf{p})$ はネットワークで予測される。
• 高速版であるFDKNは、$640 \times 480$ 画像の推論時間を約17倍短縮する軽量で効率的な実装を採用している。
• カーネル予測のための広い受容 field を得るために、特徴抽出にダウンコンボリューション（DownConv）モジュールを採用している。
• 入力モality（カラー対比深度のみ）とカーネルサイズに関するアブレーションスタディを含め、教師あり学習により深度マップアップサンプリングをエンドツーエンドで訓練している。

実験結果

リサーチクエスチョン

• RQ1 空間的に変化するスパースなカーネル重みとネイバーサンプリングを学習することで、固定または空間的に不変なカーネルに比べて、深度マップアップサンプリングが向上するか？
• RQ2 HRカラー画像とLR深度画像の両方を統合的に学習することで、単一モダリティのみを使用する場合よりも高い性能が得られるか？
• RQ3 高速で効率的な実装（FDKN）は、顕著な高速化を達成しながらも、高い精度を維持できるか？
• RQ4 このタスクにおいて、性能と計算コストのバランスを最適化するための最適なカーネルサイズは何か？
• RQ5 ガイドなしでLR深度マップのみを用いた重み付き平均化プロセスが、SOTA性能を達成できるか？

主な発見

• DKNモデルはNYUv2データセットでSOTAを更新し、前人手法と比較して平均RMSEを30–50%低減した。
• FDKNバージョンは元のDKNより17倍高速に動作（$640 \times 480$ 画像あたり0.01秒）し、優れた性能を維持している。
• HRカラー画像をガイドとして使用せず、LR深度マップのみからカーネル学習を行う場合でも、$3 \times 3$ スパースカーネルを用いればSOTA性能を達成できる。これは強力な内在的学習能力を示している。
• 両方の入力（HRカラーとLR深度）から、カーネル重みとサンプリングオフセットを同時に学習し、残差接続を組み合わせた場合に最高の性能が得られる。
• $3 \times 3$ カーネルサイズが、精度と速度のバランスにおいて最良の妥協点を提供しており、より大きなカーネル（$15 \times 15$）ではさらなる向上が得られない。
• DownConvモジュールは性能に不可欠であり、これを除去するとRMSEが3.26から5.00に上昇する。これは広い受容 field の重要性を示している。