[論文レビュー] Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images

Asra Aslam, Mohd. Samar Ansari|arXiv (Cornell University)|Feb 9, 2019

Advanced Vision and Imaging参考文献 18被引用数 8

ひとこと要約

本論文は、±2.5%の許容誤差しきい値を用いたRGBベースの類似度を用いて、ステレオ画像ペアから深度マップを生成するためのピクセル対ピクセルマッチングアルゴリズムを提案する。SAD（絶対差分和）を用いた両眼視差の計算と、許容誤差に基づく衝突解決を施すことにより、従来の手法と比較して、エッジの明瞭さと深度表現の質が向上した高品質な深度マップを生成する。

ABSTRACT

Modern day multimedia content generation and dissemination is moving towards the presentation of more and more `realistic' scenarios. The switch from 2-dimensional (2D) to 3-dimensional (3D) has been a major driving force in that direction. Over the recent past, a large number of approaches have been proposed for creating 3D images/videos most of which are based on the generation of depth-maps. This paper presents a new algorithm for obtaining depth information pertaining to a depicted scene from a set of available pair of stereoscopic images. The proposed algorithm performs a pixel-to-pixel matching of the two images in the stereo pair for estimation of depth. It is shown that the obtained depth-maps show improvements over the reported counterparts.

研究の動機と目的

• 窓ベースのマッチングに依存する従来の深度マップ生成技術の限界を解消すること。
• 調整可能な許容誤差しきい値を用いることで、画像ノイズ、照明変動、ずれの影響を最小限に抑えることにより、深度マップの品質を向上させること。
• 教師あり学習や事前知識を必要とせず、完全に自動的かつ非インタラクティブにステレオペアから深度推定を行う手法を開発すること。
• 深度に反比例する色値を割り当てることで、深度の変化を直感的に可視化できるように、深度表現を強化すること。

提案手法

• アルゴリズムは、左画像と右画像の間でRGB成分を比較することにより、直接的なピクセル対ピクセルマッチングを実行する。
• マッチングは、全3色チャネルにおける絶対差分和（SAD）メトリックを用いて決定される。
• ユーザーが定義する許容誤差しきい値±2.5%が適用され、SAD値がこの範囲内にある場合に限り、ピクセルペアをマッチングとみなす。
• 複数の候補マッチングが生じる衝突は、許容誤差値がより高いピクセルを選択することで解決され、耐障害性が確保される。
• 両眼視差は、式：disparity = f × T / z で計算される。ここで、f は焦点距離、T は基準基準、z は深度である。
• 最終的な深度マップにおけるピクセル強度は、Color = 255 - (depth × 255) / max_depth で計算され、マッチングされないピクセルには白（255）が割り当てられる。

実験結果

リサーチクエスチョン

• RQ1 RGBベースの類似度を用いた直接的なピクセル対ピクセルマッチングは、窓ベースのマッチング手法と比較して、深度マップの正確性を向上させることができるか？
• RQ2 動的許容誤差しきい値を組み込むことで、ステレオ画像における照明変動やノイズにどの程度耐性が高まるか？
• RQ3 許容誤差に基づく衝突解決は、曖昧な領域におけるマッチング信頼性をどの程度向上させるか？
• RQ4 本手法は、従来の非インタラクティブな深度マップ生成手法と比較して、視覚的品質と深度表現においてどの程度優れているか？

主な発見

• 提案手法は、特に前面と背景の物体を区別する際の優れた性能を示し、従来手法と比較して、より明確な深度境界と正確な深度表現を持つ深度マップを生成する。
• カメラに近い物体は明るい色（白）でレンダリングされ、遠くの物体は暗い色（黒）で表示されるため、直感的な深度認識が可能になる。
• ピクセルマッチングにおける±2.5%の許容誤差しきい値のおかげで、歪みや照明変動に対しても効果的に対処できる。
• 比較結果では、特に部屋や屋外風景のような複雑なシーンにおいて、ベースライン手法[23]と比較して、エッジ定義が明確でノイズが少ない深度マップが得られている。
• アルゴリズムは、車から背景の壁への遷移といった深度の不連続性を、高い忠実度で特定することができる。
• RGB成分の比較を伴うSADの使用により、わずかな照明差に対しても一貫したマッチングが保証される。