[論文レビュー] Natural Image Stitching Using Depth Maps

Tianli Liao, Nan Li|arXiv (Cornell University)|Feb 13, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、特徴マッチング、デラノイ三角形分割、および深度補正局所ホモロジーを用いて、重複領域および非重複領域における視差を効果的に処理する、深さマップを活用した新規な自然画像スターチング手法を提案する。この手法は、正確なアライメントと自然な見た目のモザイクを実現し、MS-SSIMおよびPSNRの定量的向上を伴い、大基線距離および非平面なシーンにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Natural image stitching aims to create a single, natural-looking mosaic from overlapped images that capture the same 3D scene from different viewing positions. Challenges inevitably arise when the scene is non-planar and captured by handheld cameras since parallax is non-negligible in such cases. In this paper, we propose a novel image stitching method using depth maps, which generates accurate alignment mosaics against parallax. Firstly, we construct a robust fitting method to filter out the outliers in feature matches and estimate the epipolar geometry between input images. Then, we utilize epipolar geometry to establish pixel-to-pixel correspondences between the input images and render the warped images using the proposed optimal warping. In the rendering stage, we introduce several modules to solve the mapping artifacts in the warping results and generate the final mosaic. Experimental results on three challenging datasets demonstrate that the depth maps of input images enable our method to provide much more accurate alignment in the overlapping region and view-consistent results in the non-overlapping region. We believe our method will continue to work under the rapid progress of monocular depth estimation. The source code is available at https://github.com/tlliao/NIS_depths.

研究の動機と目的

• シーンが非平面的でカメラ基線が広い状況下における自然画像スターチングにおける視差の課題を解決すること。
• グローバルホモロジーまたは標準的なアダプティブワーピングでは達成できない、重複領域におけるアライメント精度の向上と非重複領域における自然さの向上を図ること。
• 深さマップを活用して、ピecewise画像ワーピングのための3次元幾何をより正確にモデル化すること。
• 大視差下でも外れ値を効果的にフィルタリングし、エピポーラ幾何を推定できるロバストフィッティング手法を開発すること。
• 三角形分割された画像領域全体にわたって視点一貫性のあるワーピングを保証する、深さ補正局所ホモロジー推定技術を設計すること。

提案手法

• 特徴マッチの外れ値をフィルタリングし、エピポーラ幾何を推定するため、深さ-RANSACに基づくロバストフィッティング手法を採用。これにより、大視差下でも安定性が向上する。
• ターゲット画像をデラノイ三角形分割により三角形領域に分割し、それぞれの領域が3次元空間で同一平面上にあると仮定する。
• 各三角形に対して、頂点座標、補正済み深度値、およびエピポーラ幾何を用いて局所ホモロジーを計算し、正確なピecewiseワーピングを実現する。
• 方程式 (14)、(15)、(16) を用いて深さ補正を実施し、各三角形ごとに深度値をクラスタリング・平均化することで、ワーピングの一貫性を向上させる。
• ピecewiseホモロジーを用いたバックワードマッピングにより、変形済みターゲット画像を生成し、その後、平均ブレンドと画像補完処理を施して最終パノラマを生成する。
• 特に非重複領域において、不連続性や深度変動に対応できるように、深さに依存する幾何推定を統合し、画像変形の整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 深さマップは、大視差および非平面シーン下における自然画像スターチングのアライメント精度を向上させ得るか？
• RQ2 深さ情報とエピポーラ幾何を用いて、局所ホモロジーを効果的に推定し、ピecewise画像ワーピングを実現できるか？
• RQ3 クラスタリングと平均化による深さ補正は、スターチドパノラマの視覚的品質および一貫性を向上させるか？
• RQ4 提案手法のロバストフィッティング手法は、標準RANSACおよびマルチサンプリングRANSACと比較して、外れ値を多く含む特徴マッチを扱う上で優れているか？
• RQ5 三角形分割された領域を用いることで、グローバルまたはパッチベースのワーピングモデルと比較して、非重複領域における自然さがどの程度向上するか？

主な発見

• 本手法は、MVS-SynthデータセットにおいてMS-SSIM 0.9249、PSNR 23.9227を達成し、ベースライン手法を上回る性能を示した。
• 深さ-RANSAC（本研究のロバストフィッティング手法）は、homo-RANSACおよびmulti-RANSACを上回るアライメント精度を達成し、PSNRは23.9227（homo-RANSAC：17.5890、multi-RANSAC：22.0899）を記録した。
• 方程式 (16) を用いた深さ補正により、MS-SSIMが向上しアーティファクトが減少し、実験3が最高のスコア0.9249を達成した。
• アブレーションスタディの結果、深さ補正とクラスタリングにより、変形画像における分割アーティファクトが低減することが、0118テストケースの視覚的比較から明らかになった。
• APAP、NISwGSP、LFAと比較して、ストリートライトや建物といった複雑な構造物を含む非重複領域のアライメントにおいて、ゴースト効果や誤アライメントを低減し、優れた性能を発揮した。
• 深さマップの精度が低い場合、または高深度変動を示す複雑なシーンではトライアングレーションに誤差が生じ、ブレンドや補完処理でアーティファクトが発生する失敗事例が観察された。