[論文レビュー] Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference

Bo Li, Yuchao Dai+2 more|arXiv (Cornell University)|Apr 27, 2017

Advanced Vision and Imaging参考文献 7被引用数 19

ひとこと要約

本稿では、単一画像深度推定のための拡張畳み込みニューラルネットワーク（dilated deep residual CNN）とソフトウェイト和推論を提案し、NYU Depth V2 データセットで顕著に少ない学習例とモデルパラメータ数で最先端の性能を達成した。この手法は、大規模な受容 field を得るために拡張畳み込みを活用し、マルチスケール特徴の統合と境界の保持のためのスキップ接続を用い、滑らかで境界を保全する深度マップを生成する微分可能なソフトウェイト和推論を採用している。

ABSTRACT

This paper proposes a new residual convolutional neural network (CNN) architecture for single image depth estimation. Compared with existing deep CNN based methods, our method achieves much better results with fewer training examples and model parameters. The advantages of our method come from the usage of dilated convolution, skip connection architecture and soft-weight-sum inference. Experimental evaluation on the NYU Depth V2 dataset shows that our method outperforms other state-of-the-art methods by a margin.

研究の動機と目的

• 深層畳み込みニューラルネットワークのアーキテクチャ設計を改善することで、単一画像深度推定の不適切な定式化を緩和すること。
• 性能を維持または向上させつつ、モデルの複雑さと学習データの要件を低減すること。
• より良い特徴統合と境界の保持により、深度マップの品質を向上させること。
• ハードスレッショルドによる推論よりも精度の高い深度推定を実現する微分可能な推論手法を開発すること。

提案手法

• 全結合層を削除することで152層の残差ネットワークを変更し、パラメータを80%以上削減した。
• パラメータ数を増加させず空間解像度を維持したまま、受容 field を拡大するために拡張畳み込みを採用した。
• 高レベルと中間レベルの特徴マップを連結するスキップ接続を導入し、マルチスケール特徴の統合と境界の保持を実現した。
• 深度を200のビンにログスケールで離散化することで、深度推定を分類タスクに再定式化した。
• 学習には多項ロジスティック損失とソフトマックスを適用し、各画素ごとにスコア分布を出力した。
• ソフトウェイト和推論を採用：深度推定値 $ d_i = \exp(\mathbf{w}^T \mathbf{p}_i) $、ここで $ \mathbf{p}_i $ は予測スコアベクトル、$ \mathbf{w} $ はビン重みベクトルであり、離散スコアから連続的な深度予測を可能にした。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数と学習データを大幅に削減した拡張残差 CNN アーキテクチャが、優れた深度推定性能を達成できるか？
• RQ2 特徴マップ間のスキップ接続がマルチスケール特徴統合と境界の保持に与える影響は何か？
• RQ3 離散スコア分布からの深度回帰において、ソフトウェイト和推論がハードスレッショルドを上回る性能を示すか？
• RQ4 拡張畳み込み、スキップ接続、ソフトウェイト和推論の各要素が最終的な性能にどの程度寄与しているか？

主な発見

• 提案手法は、NYU Depth V2 データセットで $ \delta < 1.25 $ において83.5%、$ \delta < 1.25^2 $ で96.7%、$ \delta < 1.25^3 $ で99.1%の精度を達成し、すべての最先端手法を上回った。
• 相対誤差（Rel）が0.125、log10誤差が0.052、RMS誤差が0.519と、先行研究より顕著に低く抑えられた。
• 12,000枚の学習画像と6000万パラメータで、24万枚の画像と最大3億5千万パラメータを要する手法を上回った。
• 構成要因のアブレーション実験から、拡張畳み込み、スキップ接続、ソフトウェイト和推論の3要素すべてが性能向上に寄与していることが示された。
• 定性的な結果から、ソフトウェイト和推論はハードスレッショルドに比べ、滑らかで境界が明瞭な深度マップを生成することが確認された。
• ビン数を増やすと画素単位の精度が著しく低下（例：1000ビンで7%低下）し、収益逓減の兆しが見られたため、最適な深度回帰のためのソフトウェイト和推論の有効性が裏付けられた。