[論文レビュー] FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion.

Lina Liu, Xibin Song+5 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Vision and Imaging被引用数 7

ひとこと要約

FCFR-Net は、単眼深度補完のための2段階でエンドツーエンドの残差学習フレームワークを提案する。まず単純なCNNを用いて粗い密度の高い深度マップを生成し、その後チャネルシャッフルに基づく特徴融合とエネルギーに基づく融合機構を用いてそれを精錬する。本手法はKITTIベンチマークにおいて最先端の性能を達成し、従来の1段階手法と比較して深度マップの精度を顕著に向上させた。

ABSTRACT

Depth completion aims to recover a dense depth map from a sparse depth map with the corresponding color image as input. Recent approaches mainly formulate the depth completion as a one-stage end-to-end learning task, which outputs dense depth maps directly. However, the feature extraction and supervision in one-stage frameworks are insufficient, limiting the performance of these approaches. To address this problem, we propose a novel end-to-end residual learning framework, which formulates the depth completion as a two-stage learning task, i.e., a sparse-to-coarse stage and a coarse-to-fine stage. First, a coarse dense depth map is obtained by a simple CNN framework. Then, a refined depth map is further obtained using a residual learning strategy in the coarse-to-fine stage with coarse depth map and color image as input. Specially, in the coarse-to-fine stage, a channel shuffle extraction operation is utilized to extract more representative features from color image and coarse depth map, and an energy based fusion operation is exploited to effectively fuse these features obtained by channel shuffle operation, thus leading to more accurate and refined depth maps. We achieve SoTA performance in RMSE on KITTI benchmark. Extensive experiments on other datasets future demonstrate the superiority of our approach over current state-of-the-art depth completion approaches.

研究の動機と目的

• 1段階手法の限界、特に特徴抽出と監視の不十分さを是正すること。
• スパースから粗い、その後粗いから細かい精錬という2段階のタスクに分解することで、深度マップの精度を向上させること。
• 色と粗い深度特徴に対してチャネルシャッフル操作を活用し、特徴表現を向上させること。
• マルチモーダル特徴（色と深度）を効果的に統合するための特徴融合機構を開発すること。

提案手法

• フレームワークはまず、スパース深度とカラー入力を用いて単純なCNNを用いて粗い密度の高い深度マップを生成する。
• 粗くから細かくの段階では、残差学習戦略を用いてカラー画像と粗い深度マップの両方を入力として、粗い深度マップを精錬する。
• チャネルシャッフル操作を適用して、カラー画像と粗い深度マップからより代表的な特徴を抽出し、特徴の多様性と表現力を向上させる。
• チャネルシャッフルで抽出された特徴を効果的に統合するため、エネルギーに基づく融合操作を導入し、融合の効率性と正確性を向上させる。
• ネットワーク全体をエンドツーエンドで訓練し、両段階に監視を適用することで、学習の安定性と性能を向上させる。
• ベンチマークデータセットで高い精度を達成する一方で、計算効率も考慮した設計である。

実験結果

リサーチクエスチョン

• RQ1 2段階の学習フレームワークは、特徴抽出と監視の向上により、1段階手法を上回る性能を発揮できるか？
• RQ2 チャネルシャッフル操作は、マルチモーダル（色と深度）特徴学習における特徴表現をどのように向上させるか？
• RQ3 エネルギーに基づく特徴融合は、精錬された深度マップの正確性にどのような影響を与えるか？
• RQ4 粗くから細かくの段階における残差学習は、深度補完性能をどの程度向上させるか？
• RQ5 提案された2段階設計は、さまざまな深度補完ベンチマークに一般化できるか？

主な発見

• FCFR-Net は KITTI ベンチマークにおいて RMSE の観点で最先端の性能を達成し、既存手法を上回った。
• 2段階設計により、より良い特徴学習と監視が可能となり、1段階手法と比較してより正確な深度マップが得られた。
• チャネルシャッフルとエネルギーに基づく融合の統合により、特徴表現と融合品質が顕著に向上した。
• 粗くから細かくの精錬段階は、特に模様のない領域や隠蔽領域での深度マップ誤差を効果的に低減した。
• 追加のデータセットにおける広範な実験から、提案手法の一般化能力と優位性が確認された。