[論文レビュー] Deep RGB-D Canonical Correlation Analysis For Sparse Depth Completion

Yiqi Zhong, Cho-Ying Wu+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Vision and Imaging被引用数 10

ひとこと要約

本稿では、2次元深層正準相関分析（2D^2CCA）を活用してRGBと深度モダリティ間の意味的に整合した特徴を学習することで、スパースな深度補完を向上させるエンドツーエンドのディーブラーニングモデル、CFCNetを提案する。特徴レベルでのクロスモダリティ相関をモデル化することで、変換されたRGB特徴を用いて欠落した深度値を効果的に再構築し、多様なスパースな深度パターンを示す屋内および屋外のベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we propose our Correlation For Completion Network (CFCNet), an end-to-end deep learning model that uses the correlation between two data sources to perform sparse depth completion. CFCNet learns to capture, to the largest extent, the semantically correlated features between RGB and depth information. Through pairs of image pixels and the visible measurements in a sparse depth map, CFCNet facilitates feature-level mutual transformation of different data sources. Such a transformation enables CFCNet to predict features and reconstruct data of missing depth measurements according to their corresponding, transformed RGB features. We extend canonical correlation analysis to a 2D domain and formulate it as one of our training objectives (i.e. 2d deep canonical correlation, or “2D^2CCA loss). Extensive experiments validate the ability and flexibility of our CFCNet compared to the state-of-the-art methods on both indoor and outdoor scenes with different real-life sparse patterns. Codes are available at: https://github.com/choyingw/CFCNet.

研究の動機と目的

• スパースな深度測定値から密度の高い深度マップをマルチモーダル情報を利用して再構築する課題に対処すること。
• より正確な深度予測のため、RGBと深度モダリティ間の特徴レベルでのアライメントを向上させること。
• 2次元特徴空間で効果的にクロスモダリティ相関をモデル化できる学習可能でエンドツーエンドのフレームワークを開発すること。
• 正準相関分析を深層2次元ドメインに拡張し、深度補完におけるより優れた特徴表現を実現すること。
• 本手法の屋内および屋外のシーンにおける多様な現実世界のスパースな深度パターンに対するロバスト性を検証すること。

提案手法

• CFCNetはRGBおよびスパースな深度入力から特徴を抽出する二重ブランチエンコーダーを採用する。
• 2次元空間ドメインにおけるクロスモダリティ特徴間の相関を最大化するため、2次元深層正準相関分析（2D^2CCA）損失を導入する。
• 学習された相関マッピングを通じて、RGB特徴と深度特徴の間で特徴レベルの相互変換を可能にする。
• 変換されたRGB特徴を用いて欠落した深度値を再構築することで、密度の高い深度マップを予測する。
• 2D^2CCA損失はトレーニング中にエンドツーエンドで最適化され、モダリティ間の意味的に対応する特徴をアライメントする。
• フレームワークは、屋内および屋外のシーンを含む、多様なスパースな深度パターンを示す実世界のデータセット上でトレーニングおよび評価される。

実験結果

リサーチクエスチョン

• RQ1 2次元深層正準相関分析は、深度補完のためのRGBと深度間の特徴アライメントを効果的に改善できるか？
• RQ2 CFCNetは、屋内および屋外の両環境における多様な現実世界のスパースな深度パターンにどれほど一般化できるか？
• RQ3 クロスモダリティ特徴変換を学習することで、従来手法と比較して欠落した深度値の再構築が向上するか？
• RQ4 2D^2CCA損失は、意味的に相関する特徴を捉える能力をどの程度向上させるか？
• RQ5 2D^2CCA損失を用いたエンドツーエンドトレーニングは、標準的な深度補完ベンチマークでの性能向上に寄与するか？

主な発見

• CFCNetは、多様なスパースな深度パターンを示す屋内および屋外の深度補完ベンチマークで最先端の性能を達成した。
• 2D^2CCA損失はRGBと深度モダリティ間の特徴相関を顕著に向上させ、再構築品質を向上させた。
• 不規則で非一様なサンプリングを示す実世界のスパースな深度パターンに対しても、モデルは強力な一般化性能を示した。
• RGBと深度特徴間の特徴レベル相互変換により、意味的に整合した特徴を用いて欠落した深度値を正確に予測可能となった。
• アブレーションスタディの結果、2D^2CCA損失がベースライン手法と比較して性能向上に顕著な寄与をしていることが確認された。
• フレームワークは屋内および屋外の両シーンで有効であり、シーンの複雑さや深度のスパarsityに対してロバストであることが示された。