[論文レビュー] Deformable spatial propagation network for depth completion

Zheyuan Xu, Hongche Yin+1 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Vision and Imaging参考文献 20被引用数 10

ひとこと要約

本稿では、可変受容 field と類似性に基づくアフィニティ行列を学習可能なオフセットを用いて学習することで、より効果的で効率的な疎な深度マップの精錬を可能にする、可変空間伝播ネットワーク（DSPN）を提案する。KITTIベンチマークでは、RMSE 766.74 および iMAE 1.03 を達成し、CSPN を含む先行手法を上回る最先端性能を発揮する。

ABSTRACT

Depth completion has attracted extensive attention recently due to the development of autonomous driving, which aims to recover dense depth map from sparse depth measurements. Convolutional spatial propagation network (CSPN) is one of the state-of-the-art methods in this task, which adopt a linear propagation model to refine coarse depth maps with local context. However, the propagation of each pixel occurs in a fixed receptive field. This may not be the optimal for refinement since different pixel needs different local context. To tackle this issue, in this paper, we propose a deformable spatial propagation network (DSPN) to adaptively generates different receptive field and affinity matrix for each pixel. It allows the network obtain information with much fewer but more relevant pixels for propagation. Experimental results on KITTI depth completion benchmark demonstrate that our proposed method achieves the state-of-the-art performance.

研究の動機と目的

• CSPN などの既存の深度補完手法における固定受容 field の制限を解消し、精錬中に不要な文脈を導入するのを防ぐ。
• データ駆動的にピクセル固有の可変受容 field とアフィニティ行列を学習することで、深度マップの精錬を向上させる。
• 大規模な受容 field や多数の伝播イテレーションに依存するのを減らし、より関連性の高い局所的情報の流れを可能にする。
• 疎な深度入力における LiDAR 測定ノイズを、学習された信頼性ブランチによって軽減する。
• KITTI の深度補完ベンチマークで最先端の性能を達成し、詳細の回復と誤差の低減を実現する。

提案手法

• 各ピクセルの受容 field のオフセットをエンドツーエンドで予測する可変空間伝播機構を導入し、伝播中に非一様で可変的な空間サンプリングを可能にする。
• 特徴量の類似性に基づいてピクセル固有のアフィニティ行列を学習し、CSPN の固定畳み込みカーネルを、学習可能で動的な注目メカニズムに置き換える。
• オフセット予測用とアフィニティ重みの計算用の二本のブランチを備えた精錬ネットワークを採用し、両者とも共有エンコーダからの特徴量に条件付けられる。
• 疎な深度測定の信頼性マスクを予測する信頼性ブランチを用い、精錬中に真値を保持するのに使用する。
• 学習されたオフセットとアフィニティ重みに基づいて、選択されたピクセルからの特徴量を組み合わせる微分可能伝播層を繰り返し適用する。
• 疎な深度とRGB画像を入力として受け取り、より高い精度と詳細を備えた密度のある深度マップを出力するエンドツーエンドフレームワークに DSPN を統合する。

実験結果

リサーチクエスチョン

• RQ1 空間伝播における固定サイズの近傍領域と比較して、可変的・可変可能な受容 field は深度補完性能を向上させるか？
• RQ2 特徴量の類似性に基づいて動的なアフィニティ行列を学習することは、より効果的で効率的な深度精錬を実現するか？
• RQ3 疎な深度測定のための信頼性ブランチは、センサーノイズの影響を低減させ、耐性を高めるか？
• RQ4 CSPN と比較して、提案手法は伝播イテレーション数や受容 field のサイズに対してどれほど感度を示すか？
• RQ5 提案された DSPN は KITTI の深度補完ベンチマークで最先端の性能を達成するか？

主な発見

• 提案された DSPN は KITTI ベンチマークでテストセットの RMSE 766.74 および iMAE 1.03 を達成し、比較手法の中で RMSE および iMAE で第1位を記録した。
• CSPN と比較して顕著な性能向上を示し、RMSE を 814.71（CSPN）から 766.74 まで低下させ、相対的に 4.7% の改善を達成した。
• 信頼性ブランチを削除すると RMSE が 5.18 ポイント悪化することから、ノイズの多い LiDAR 測定値の影響を軽減する有効性が示された。
• DSPN は少ないイテレーション数（例：12イテレーション）と小さな受容 field（3×3）で優れた結果を達成しており、CSPN よりもハイパーパramータに対して感受性が低いことが示された。
• 視覚的比較では、DSPN は細かいディテールをよりよく回復し、特に物体境界付近で誤差を低減していることが確認された。
• アブレーションスタディーにより、DSPN がイテレーション数や受容 field サイズに対して感受性が低く、より高い耐性と効率性を示していることが確認された。