[論文レビュー] Robust High Quality Image Guided Depth Upsampling

Wei Liu, Yijun Li+4 more|arXiv (Cornell University)|Jun 17, 2015

Advanced Vision and Imaging参考文献 13被引用数 6

ひとこと要約

本稿では、画素の局所的パターンの差分に基づくデータ項と指数関数的誤差ノルムを導入し、滑らかさ項を緩和することで、テクスチャの複製アーチファクトと深度不連続性のぼかしを是正する、高品質な画像誘導型深度アップサンプリングのロバスト最適化フレームワークを提案する。本手法は、8×および16×といった大きなアップサンプリング要因において優れた性能を発揮し、合成および実際のToF深度データにおいて、視覚的品質と定量的指標の両面で最先端手法を上回る。また、適応的帯域幅選択によりノイズに強い性能を発揮する。

ABSTRACT

Time-of-Flight (ToF) depth sensing camera is able to obtain depth maps at a high frame rate. However, its low resolution and sensitivity to the noise are always a concern. A popular solution is upsampling the obtained noisy low resolution depth map with the guidance of the companion high resolution color image. However, due to the constrains in the existing upsampling models, the high resolution depth map obtained in such way may suffer from either texture copy artifacts or blur of depth discontinuity. In this paper, a novel optimization framework is proposed with the brand new data term and smoothness term. The comprehensive experiments using both synthetic data and real data show that the proposed method well tackles the problem of texture copy artifacts and blur of depth discontinuity. It also demonstrates sufficient robustness to the noise. Moreover, a data driven scheme is proposed to adaptively estimate the parameter in the upsampling optimization framework. The encouraging performance is maintained even in the case of large upsampling e.g. $8 imes$ and $16 imes$.

研究の動機と目的

• 滑らかな深度領域にテクスチャのあるカラー画像が用いられる際の、画像誘導型深度アップサンプリングにおけるテクスチャの複製アーチファクトを是正すること。
• ガイド画像における色のエッジと深度エッジが一致しない場合に生じる深度不連続性のぼかしを克服すること。
• 特に高いアップサンプリング要因下での低解像度深度マップのノイズに強い性能を向上させること。
• 多様なシーン状況にわたる性能向上を図るための適応的パrameter推定スキームの開発。
• 静止シーンや外部データベースを必要としない高品質な深度アップサンプリングの実現。

提案手法

• ピクセル同士の差分ではなく、ピクセルの局所的パターンの差分に基づく新しいデータ項を導入し、ノイズに強い性能を向上させる。
• 従来のL2ノルムに代わり、指数関数的誤差ノルム関数をデータ項に採用し、ノイズに強い性能を実現する。
• ガイドカラー画像と低解像度深度マップの両方から得られる深度不連続性の手がかりを活用する新しい滑らかさ項を提案し、色のエッジと深度エッジの厳密な一致を仮定しない。
• 局所的な画像コンテンツに基づいて、指数関数的誤差ノルムのスケールパラメータを自動的に調整するデータ駆動型の適応的帯域幅選択スキームを統合する。
• 新規のデータ項と滑らかさ項を組み合わせた最適化フレームワークを用い、高解像度深度マップを同時に推定する。
• 本フレームワークを、合成および実際のToF深度データ（8×および16×を含む大きなアップサンプリング要因）に適用する。

実験結果

リサーチクエスチョン

• RQ1 局所的パターンの差分に基づくデータ項と指数関数的誤差ノルムを用いることで、アップサンプリング時に低解像度深度マップのノイズに敏感になるのを軽減できるか？
• RQ2 色のエッジと深度不連続性の厳密な一致を緩和することで、均一な領域における深度境界の保持が向上するか？
• RQ3 カラー画像と深度マップの両方からの手がかりを用いた統合的データ項と滑らかさ項は、テクスチャの複製アーチファクトを低減できるか？
• RQ4 提案された適応的帯域幅選択は、ノイズレベルやアップサンプリング要因の変動に応じて性能を維持するのにどの程度有効か？
• RQ5 8×および16×といった極端なアップサンプリング要因においても、本手法は高い正確性と視覚的品質を維持できるか？

主な発見

• Middleburyデータセットにおいて、本手法はArtシーケンスでRMSE 0.78を達成し、[2]で報告された最先端手法（RMSE: 1.69）を顕著に上回った。
• 実際のToFデータにおいて、本手法はBooksシーケンスでRMSE 12.58mmを達成し、すべてのベースラインを上回り、次に優れた手法（AR）の13.28mmを上回った。
• 本手法は16×アップサンプリングにおいても高い視覚的品質を維持し、他の手法が失敗するような細かいディテールや鋭い深度不連続性を保持した。
• 適応的帯域幅選択スキームは、特に細かいテクスチャと深度エッジを持つ領域で性能を顕著に向上させたことが、帯域幅マップと視覚的比較から明らかになった。
• 本手法はノイズに強く、色のエッジが存在しない領域においても、ノイズのある領域を効果的に平滑化しながら、深度不連続性を保持した。
• 本手法は、合成および実際のデータを含むすべてのテストシーケンスにおいて、大きなアップサンプリング要因下で最高の定量的・定性的な結果を達成した。