[論文レビュー] A Deep Primal-Dual Network for Guided Depth Super-Resolution

Gernot Riegler, David Ferstl+2 more|arXiv (Cornell University)|Jul 28, 2016

Advanced Vision and Imaging参考文献 31被引用数 11

ひとこと要約

本稿では、高分解能の強度画像をガイドとして用いることで、深層推定のスーパーレゾリューションを実現する、深層プライマルデュアルネットワークを提案する。1次プライマルデュアル最適化アルゴリズムを学習可能なニューラルネットワークにアンロールすることにより、畳み込みフィルタ、変分モデルのパラメータ、アルゴリズムのハイパーパrameterを同時に最適化する。物理的レンダリングで生成された訓練データを用いた合成および実世界のベンチマークで、最先端の性能を達成した。

ABSTRACT

In this paper we present a novel method to increase the spatial resolution of depth images. We combine a deep fully convolutional network with a non-local variational method in a deep primal-dual network. The joint network computes a noise-free, high-resolution estimate from a noisy, low-resolution input depth map. Additionally, a high-resolution intensity image is used to guide the reconstruction in the network. By unrolling the optimization steps of a first-order primal-dual algorithm and formulating it as a network, we can train our joint method end-to-end. This not only enables us to learn the weights of the fully convolutional network, but also to optimize all parameters of the variational method and its optimization procedure. The training of such a deep network requires a large dataset for supervision. Therefore, we generate high-quality depth maps and corresponding color images with a physically based renderer. In an exhaustive evaluation we show that our method outperforms the state-of-the-art on multiple benchmarks.

研究の動機と目的

• ToFや構造化光カメラなどのコンsumer深度センサから得られる深度マップの空間的分解能が低く、ノイズが多いという課題に対処すること。
• 強度画像と深度の相関関係を活用することで、高分解能の強度画像を空間的ガイドとして用いて深度スーパーレゾリューションを向上させること。
• 深層スーパーレゾリューションにおけるディープラーニングのための、大規模かつ高品質な訓練データの不足を克服すること。
• アンロールされたプライマルデュアル最適化を介して、非局所変分モデルをディープラーニングフレームワークに統合し、統合的エンドツーエンドトレーニングを可能とすること。
• 物理的レンダリングに基づくレンダラーを用いて、実際のものに近い高品質な訓練データを生成し、効果的なモデルトレーニングを可能とすること。

提案手法

• 完全畳み込みネットワーク（FCN）が、低分解能でノイズの多い深度マップと高分解能の強度画像を処理し、初期の高分解能深度推定値と重み係数を出力する。
• FCNの出力をプライマルデュアルネットワークに供給し、非局所全変動最小化のための1次プライマルデュアルアルゴリズムの反復的手続きをアンロールする。
• プライマルデュアルアルゴリズムの各最適化ステップが、学習可能なレイヤーとして実装され、ネットワーク全体にエンドツーエンドのバックプロパゲーションが可能になる。
• 本手法は、FCN内の畳み込みフィルタ、変分コスト関数の正則化パラメータ、およびプライマルデュアルアルゴリズムのステップサイズとパラメータを同時に学習する。
• 高品質な訓練データは、ミツーバ・レンダラーを用いて生成され、深さ依存のノイズを伴うリアルな深度マップと対応する強度画像をシミュレートする。
• トレーニングプロセスでは、予測された高分解能深度マップと真値との間のL2誤差に基づく損失関数が使用される。

実験結果

リサーチクエスチョン

• RQ1 アンロールされた変分最適化アルゴリズムを用いる深層プライマルデュアルネットワークは、従来の手法よりも優れた深度スーパーレゾリューションを達成できるか？
• RQ2 学習可能な変分パラメータと畳み込みフィルタを統合的にトレーニングする統合ネットワークのエンドツーエンド学習は、深度スーパーレゾリューションの性能を向上させるか？
• RQ3 物理的レンダリングによる合成データは、実世界のデータに代わって深度スーパーレゾリューションモデルのトレーニングに有効に機能するか？
• RQ4 高分解能の強度画像をガイドとして用いることで、高倍率のアップサンプリング要因において性能が向上するか？
• RQ5 非局所正則化を組み込むことで、スーパーレゾリューション深度マップにおけるエッジの保持と詳細の回復がどの程度向上するか？

主な発見

• ToFMarkベンチマークでは、提案手法が23.74 mmのルート・マンス・スクエア・エラー（RMSE）を達成し、Ferstlら（2013）の2番目に良い手法（24.00 mm）を上回った。
• アップサンプリング要因が×8および×16の状況では、ガイド画像の追加により顕著な性能向上が見られ、フルモデル（FCN-PDN）がFCNオンリーベースラインを上回った。
• 合成ベンチマークでは、深度とガイド入力を併用してトレーニングした場合、RMSEが28.81 mmにまで低下したのに対し、バイリニア補間では30.46 mmであった。
• 定性的な比較により、本手法は古典的で変分的手法や補間手法よりもアーティファクトを顕著に低減し、深度の不連続性をより良く保持していることが示された。
• アブレーションスタディにより、FCNとプライマルデュアルネットワークの共同トレーニングが、FCN単体のトレーニングやNLH-ℓ2によるポストプロセッシングに比べて優れた結果をもたらすことが確認された。
• 物理的レンダリングによる訓練データの使用により、モデルは実世界のToFデータに良好に一般化でき、この分野における合成データの有効性が裏付けられた。