[論文レビュー] Data Driven Robust Image Guided Depth Map Restoration

Wei Liu, Yun Gu+4 more|arXiv (Cornell University)|Dec 26, 2015

Advanced Vision and Imaging参考文献 7被引用数 4

ひとこと要約

本稿では、ノイズおよび深度-色エッジの不一致に対処するために、データ駆動型のロバスト最適化フレームワークを提案する。データ項およびスムージング項の両方に、新規のロバスト指数誤差ノルムを用い、高品質な画像誘導型深度マップ修復を実現する。反復的重み付き最小二乗法（IRLS）ソルバと、データ駆動型の適応的パラメータ選択方式を採用し、特に8×などの高いアップサンプリング要因下でも、鋭い深度不連続性の保持とテクスチャ転写アーチファクトの抑制において優れた性能を達成する。

ABSTRACT

Depth maps captured by modern depth cameras such as Kinect and Time-of-Flight (ToF) are usually contaminated by missing data, noises and suffer from being of low resolution. In this paper, we present a robust method for high-quality restoration of a degraded depth map with the guidance of the corresponding color image. We solve the problem in an energy optimization framework that consists of a novel robust data term and smoothness term. To accommodate not only the noise but also the inconsistency between depth discontinuities and the color edges, we model both the data term and smoothness term with a robust exponential error norm function. We propose to use Iteratively Re-weighted Least Squares (IRLS) methods for efficiently solving the resulting highly non-convex optimization problem. More importantly, we further develop a data-driven adaptive parameter selection scheme to properly determine the parameter in the model. We show that the proposed approach can preserve fine details and sharp depth discontinuities even for a large upsampling factor ($8 imes$ for example). Experimental results on both simulated and real datasets demonstrate that the proposed method outperforms recent state-of-the-art methods in coping with the heavy noise, preserving sharp depth discontinuities and suppressing the texture copy artifacts.

研究の動機と目的

• 重いノイズ処理と深度不連続性のぼやけを引き起こす既存の画像誘導型深度修復手法の限界を解消すること。
• 深度不連続性と色エッジの不一致によって生じるテクスチャ転写アーチファクトの問題を克服すること。
• 大きなアップサンプリング要因（例：8×）下でも高品質な深度修復を維持できるロバストな最適化フレームワークを開発すること。
• ヒューリスティックなパラメータ選択を排除し、一般化性と詳細の保持を向上させるためのデータ駆動型の適応的帯域幅選択方式を導入すること。

提案手法

• ガウス窓内での「ピクセルからパッチ」の差分に基づくロバストなデータ項を定式化し、ロバスト指数誤差ノルムでペナルティを課すことで、エネルギー最小化問題として深度修復を定式化する。
• 深度エッジと色エッジの不一致に適応するロバストなスムージング項を導入し、テクスチャ転写アーチファクトを低減する。
• 反復的重み付き最小二乗法（IRLS）を用いて、非凸性が極めて高い最適化問題を、繰り返し線形システムを解くことで効率的に解く。
• 局所的な画像統計に基づいて正則化パラメータλを動的に決定するデータ駆動型の適応的パラメータ選択方式を実装し、詳細と不連続性の保持を強化する。
• 登録済みのカラー画像をガイドとして用い、空間的一致性を保ちつつ、深度固有の構造を維持する。
• 正規化と標準的なRMSE評価を伴い、シミュレーテッドおよび実データセット（ToFおよびKinect深度マップを含む）に最適化フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、重いノイズ処理と微細なディテールの保持を両立できるロバストなデータ項を設計できるか？
• RQ2 深度不連続性と色エッジが一致しない場合、ロバストなスムージング項がテクスチャ転写アーチファクトをどの程度低減できるか？
• RQ3 IRLSに基づく数値ソルバは、深度マップ修復における極めて非凸な最適化問題を、効率的かつ安定的に解けるか？
• RQ4 ヒューリスティックなパラメータ選択や固定パラメータと比較して、データ駆動型の適応的パラメータ選択方式は、さまざまなアップサンプリング要因下で性能をどのように向上させるか？
• RQ5 提案手法は、定量的指標（例：RMSE）および鋭い深度不連続性の定性的保持の両面で、最先端技術を上回る性能を示すか？

主な発見

• 提案手法は、シミュレーテッドToFデータ（RMSE 0.75）および実ToFデータセット（平均12.33mm）において、比較対象すべての手法を上回る最低のRMSEを達成した。
• NYU Kinectデータセットでは、平均RMSEが最低（0.75）を記録し、NLM-MRF（1.27）およびARモデル（1.02）を顕著に上回った。
• 視覚的結果では、特に8×および16×のアップサンプリング要因下で、鋭い深度不連続性の保持と最小限のぼやけが顕著に確認された。
• 本手法は、テクスチャ転写アーチファクトを効果的に抑制した—図8の「ボール」領域で顕著に、他の手法が誤って色のテクスチャを深度エッジに転送しているのと対照的である。
• データ駆動型の適応的帯域幅選択により、さまざまなアップサンプリング要因下で一貫した性能を発揮し、特に8×および16×で顕著な改善が得られた。
• IRLSソルバは安定的かつ効率的に収束し、カスタム実装を必要とせず標準的な線形ソルバが使用可能となったため、実用性が向上した。