[論文レビュー] Correspondence Insertion for As-Projective-As-Possible Image Stitching

William X. Liu, Tat-Jun Chin|arXiv (Cornell University)|Aug 29, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、特徴点対応が不足する領域におけるアスプロジェクティブアズポッシブル（APAP）画像スターチングの性能を向上させるため、データ駆動型の対応挿入手法を提案する。誤ってずれている領域を自動で特定し、新たな正確な点対応を挿入することで、幾何的歪みを増加させることなくワープの柔軟性を向上させ、ベースラインのAPAPおよび最先端の手法と比較して、視差が顕著な状況下でも優れた整合性を達成する。

ABSTRACT

Spatially varying warps are increasingly popular for image alignment. In particular, as-projective-as-possible (APAP) warps have been proven effective for accurate panoramic stitching, especially in cases with significant depth parallax that defeat standard homographic warps. However, estimating spatially varying warps requires a sufficient number of feature matches. In image regions where feature detection or matching fail, the warp loses guidance and is unable to accurately model the true underlying warp, thus resulting in poor registration. In this paper, we propose a correspondence insertion method for APAP warps, with a focus on panoramic stitching. Our method automatically identifies misaligned regions, and inserts appropriate point correspondences to increase the flexibility of the warp and improve alignment. Unlike other warp varieties, the underlying projective regularization of APAP warps reduces overfitting and geometric distortion, despite increases to the warp complexity. Comparisons with recent techniques for parallax-tolerant image stitching demonstrate the effectiveness and simplicity of our approach.

研究の動機と目的

• 特徴マッチが不足する領域におけるAPAPワープの制限を解決し、ワープの柔軟性と正確性を回復すること。
• 標準的なホモグラフィーが失敗する、顕著な深度の視差を伴うシーンにおけるパノラマスターチングを改善すること。
• 対応が乏しい領域に新たな対応点を挿入することで、APAPワープの性能を向上させる手法を開発すること。
• ワープの複雑性が増加しても、幾何的忠実性を維持し、過剰適合を抑えること。

提案手法

• APAPワープの残差誤差に基づく信頼性指標を用いて、入力画像の重複領域における誤ってずれた領域を同定する。
• 移動型直接線形変換（MDLT）フレームワークを用いて、新たな対応点の探索を定式化し、効率的かつ正確な対応推定を可能にする。
• 空間的に適応的な重み付け方式に従って、ワープ誤差が大きい領域に新しい対応点を挿入するための局所最適化戦略を適用する。
• 信頼性の高い対応点を特定するため、局所ウィンドウ（31×31）内で密な探索を実施し、誤検出を最小限に抑える。
• 既存のAPAPパイプラインとシームレスに統合され、元の射影正則化を変更せずにワープを強化する。
• 新しい対応点の影響を制御する正則化項を導入し、過剰適合を防ぎ、滑らかさを維持する。

実験結果

リサーチクエスチョン

• RQ1 自動対応挿入は、特徴点が少ない領域におけるAPAPワープの性能を向上させ得るか？
• RQ2 幾何的歪みを引き起こさずに、信頼性の高い方法で新たな対応点を検出し挿入することで、ワープの柔軟性を向上させられるか？
• RQ3 本手法は、複雑な深度変動を伴うシーンにおいて、ベースラインAPAPおよび視差耐性のあるスターチング技術を上回る性能を示すか？
• RQ4 対応挿入は、挑戦的なワイドベースライン画像ペアにおいて、不整合やゴーストアーチファクトをどの程度低減するか？
• RQ5 複雑なシーンの幾何構造に局所的に適応しながらも、グローバルな射影的一致性を維持できるか？

主な発見

• 提案されたAPAP+CI手法は、煙突やガラス張りの建物など、特徴密度が低い領域で、ベースラインAPAPが失敗するような場面において、幾何的歪みを顕著に低減した。
• 寺院や店舗の外観といった、複雑な深度の視差を伴うシーンでは、元のAPAPおよび視差耐性のあるスターチングと比較して、視覚的に優れた整合性を達成した。
• 背景構造（例：背景の塔）の不連続性を、連続性を回復させる対応点の挿入によって効果的に是正した。
• 図1cに示すように25個の新たな対応点を挿入したことで、繰り返し模様のある領域を含め、整合性が明確に向上した。
• フローベースの手法と比較して、本手法はワイドベースラインスターチングにおいて、模様がなく繰り返しのある領域でもより正確な対応点を生成し、一般的な不正確さを回避した。
• 本手法はAPAPの射影正則化を維持しており、ワープの複雑性が増加しても過剰適合を防いでいる。