[論文レビュー] A Joint Intensity and Depth Co-Sparse Analysis Model for Depth Map Super-Resolution

Martin Kiechle, Simon Hawe+1 more|arXiv (Cornell University)|Apr 19, 2013

Advanced Vision and Imaging参考文献 27被引用数 9

ひとこと要約

本稿では、高分解能の強度画像と低分解能の深度画像を整合させることで、高分解能の深度マップを再構築するための連合強度・深度共スパース解析モデルを提案する。訓練データから学習した二モード解析作用素を用いることで、両モードにおいてスパarsityを同時に強制し、優れた結果が得られる同時的なスーパーレゾリューションと欠損した深度値の補間を実現する。合成データおよび実世界のKinectデータにおいて優れた結果を示す。

ABSTRACT

High-resolution depth maps can be inferred from low-resolution depth measurements and an additional high-resolution intensity image of the same scene. To that end, we introduce a bimodal co-sparse analysis model, which is able to capture the interdependency of registered intensity and depth information. This model is based on the assumption that the co-supports of corresponding bimodal image structures are aligned when computed by a suitable pair of analysis operators. No analytic form of such operators exist and we propose a method for learning them from a set of registered training signals. This learning process is done offline and returns a bimodal analysis operator that is universally applicable to natural scenes. We use this to exploit the bimodal co-sparse analysis model as a prior for solving inverse problems, which leads to an efficient algorithm for depth map super-resolution.

研究の動機と目的

• Kinectのようなアクティブセンサによって得られる低分解能でノイズが多く、欠損のある深度測定値から高分解能の深度マップを再構築する課題に対処すること。
• 登録済みの強度画像と深度画像における対応する構造の統計的依存関係を活用して、深度再構築を改善すること。
• 強度と深度の両モードにおける共スパース表現を捉える一般化可能な事前学習済みの二モード解析作用素を開発すること。
• 学習した共スパース事前分布を用いて、深度マップのスーパーレゾリューションと補間を、一つの正則化逆問題として解くこと。

提案手法

• 強度信号と深度信号の共サポートが、学習された解析作用素のペアの下で一致するように、二モード共スパース解析モデルを定式化する。
• オフラインの最適化プロセスを用いて、登録済みの強度-深度トレーニングペアの集合から、二モード解析作用素を同時に学習する。
• 線形逆問題として深度マップ再構築をモデル化し、二モード共スパース事前分布で正則化する。データ適合性とスパarsityの項を組み合わせたコスト関数を最小化する。
• 観測された深度値に基づく対角行列を有するマハラノビス型のデータ適合性項を用い、ノイズと欠損データに対処する。
• 測定行列から深度値がゼロ（欠損）である行を除外することで、遮蔽領域の自動補間を可能にする。
• 滑らかでない非凸な最適化問題を解くために、反復的最適化アルゴリズム（例：近接勾配法）を採用する。

実験結果

リサーチクエスチョン

• RQ1 連合共スパース解析モデルは、強度画像と深度画像の構造的整合性を効果的に活用して、深度マップのスーパーレゾリューションを実現できるか？
• RQ2 訓練データから二モード解析作用素を学習することで、多様な自然シーンやセンサタイプに一般化できるか？
• RQ3 本手法は、定量的および定性的な深度再構築において、最先端の手法を上回る性能を示すか、特にノイズと欠損データの処理において優れているか？
• RQ4 学習した事前分布は、追加の処理を要せず、同時にスーパーレゾリューションと補間を実現する程度はどの程度か？

主な発見

• 本手法は、合成深度マップのMiddleburyベンチマークで最先端の性能を達成し、反復回数が増えるにつれて相対的RMSEが著しく低下する。最後の400反復で約0.2%の減少を示した。
• 同じ事前学習済みの二モード解析作用素が、実世界のKinectデータからも高分解能の深度マップを再構築するのを成功させ、センサモダリティを越えた一般化を示した。
• 視覚的結果では、特に深度の不連続領域やテクスチャのある領域で、細部の回復と滑らかな表面再構築が顕著に向上した。
• 本手法は、Kinectデータにおける遮蔽による欠損深度値を明示的な補間ステップなしに効果的に処理できる。測定モデルが欠損ピクセルをサンプリングから除外するためである。
• 50回の最適化ステップで既に高品質な再構築結果が得られるため、実用的な用途では完全収束する必要がないことが示された。
• 本手法は、さまざまなノイズモデルに対して頑健であり、従来の補間法や単一モード手法よりも、細かな幾何的構造をよりよく保持した。