[論文レビュー] Depth from Monocular Images using a Semi-Parallel Deep Neural Network (SPDNN) Hybrid Architecture

Shabab Bazrafkan, Hossein Javidnia+2 more|arXiv (Cornell University)|Mar 10, 2017

Advanced Vision and Imaging参考文献 31被引用数 4

ひとこと要約

本稿では、複数の畳み込みニューラルネットワークを共有された特徴抽出層で統合することで、単眼深度推定を向上させる半平行ディープニューラルネットワーク（SPDNN）ハイブリッドアーキテクチャを提案する。異なるネットワークブランチからの特徴を統合し、グラフベースの最適化を適用することで、SPDNNは精度を向上させ、特にセグメンテーションデータを組み込むことで、計算リソースの冗長性を低減しながらKITTIデータセットでステレオ深度性能に近い結果を達成する。

ABSTRACT

Deep neural networks are applied to a wide range of problems in recent years. In this work, Convolutional Neural Network (CNN) is applied to the problem of determining the depth from a single camera image (monocular depth). Eight different networks are designed to perform depth estimation, each of them suitable for a feature level. Networks with different pooling sizes determine different feature levels. After designing a set of networks, these models may be combined into a single network topology using graph optimization techniques. This "Semi Parallel Deep Neural Network (SPDNN)" eliminates duplicated common network layers, and can be further optimized by retraining to achieve an improved model compared to the individual topologies. In this study, four SPDNN models are trained and have been evaluated at 2 stages on the KITTI dataset. The ground truth images in the first part of the experiment are provided by the benchmark, and for the second part, the ground truth images are the depth map results from applying a state-of-the-art stereo matching method. The results of this evaluation demonstrate that using post-processing techniques to refine the target of the network increases the accuracy of depth estimation on individual mono images. The second evaluation shows that using segmentation data alongside the original data as the input can improve the depth estimation results to a point where performance is comparable with stereo depth estimation. The computational time is also discussed in this study.

研究の動機と目的

• 単眼画像からの深度推定をディープラーニングを用いて行う課題に対処すること。
• 複数のネットワークブランチ間での特徴統合を向上させるとともに、冗長性を低減するハイブリッドニューラルネットワークアーキテクチャを設計すること。
• 後処理およびセグメンテーションデータの深度推定精度に与える影響を評価すること。
• グラフベースの技術を用いてネットワーク構造を最適化し、重複する層を削除することで効率性を向上させること。
• SPDNNモデルの性能を個々のネットワークおよび最先端のステレオ手法と比較すること。

提案手法

• 異なるプーリングサイズを有する8つの個々のCNNを設計し、単眼画像から異なるレベルの特徴を抽出する。
• 共有された低レベルの層でこれらのネットワークを統合することで半平行アーキテクチャを構築し、グラフ最適化により冗長性を最小限に抑える。
• 統合後にSPDNNトポロジーを再訓練することで、汎化性能と精度を向上させる。
• モデルの評価を2段階で実施する：まずKITTIベンチマークの真値深度を用い、次に最先端のステレオマッチング手法から得た深度マップをターゲットとして用いる。
• 特に構造的でオブジェクトレベルの文脈において、深度予測の精度向上を目的として、セグメンテーションマップを補助入力として使用する。
• 最適化後の推論時間とモデルの複雑さを測定することで、計算効率を分析する。

実験結果

リサーチクエスチョン

• RQ1 半平行ディープニューラルネットワークアーキテクチャは、冗長性を低減しつつ、単眼深度推定における特徴統合を改善できるか？
• RQ2 ネットワークのターゲットをステレオ由来の深度マップで後処理することで、単眼画像からの深度予測精度にどのような影響を与えるか？
• RQ3 RGB入力と併用した場合、セグメンテーションデータがどの程度深度推定性能を向上させるか？
• RQ4 SPDNNアーキテクチャは、ステレオベースの深度推定手法と同等の性能を達成できるか？
• RQ5 最適化されたSPDNNモデルの計算効率は、単体のネットワークと比較してどの程度か？

主な発見

• SPDNNモデルは、最適化された特徴統合と冗長性の低減により、個々のネットワークトポロジーと比較して、より高い深度推定精度を達成する。
• ステレオ由来の深度マップを用いたターゲットの後処理により、単眼画像からの予測精度が顕著に向上する。
• セグメンテーションデータを入力として組み込むことで、KITTIデータセットにおいてステレオベースの深度推定と同等の性能が達成される。
• グラフ最適化を施したSPDNNトポロジーは、重複する層を削除することで計算オーバーヘッドを低減し、推論効率を向上させる。
• 最終的な訓練済みSPDNNモデルは、ステレオデータが存在しない状況において、単眼深度推定で最先端の性能を示す。
• 本研究は、共有特徴学習とハイブリッドトポロジー設計によるアーキテクチャ最適化が、深度推定タスクにおいて有効であることを確認した。