[論文レビュー] Parallax-Tolerant Unsupervised Deep Image Stitching

Lang Nie, Chun-Yu Lin+3 more|arXiv (Cornell University)|Feb 16, 2023

Advanced Image and Video Retrieval Techniques被引用数 10

ひとこと要約

UDIS++を導入する：大きな視差を扱う頑健なワープ（global homography + local TPS）とシーム対応の合成を備えた教師なしの深層画像ステッチングフレームワーク、およびクロスデータセット/generalizationのための反復的なワープ適応。

ABSTRACT

Traditional image stitching approaches tend to leverage increasingly complex geometric features (point, line, edge, etc.) for better performance. However, these hand-crafted features are only suitable for specific natural scenes with adequate geometric structures. In contrast, deep stitching schemes overcome the adverse conditions by adaptively learning robust semantic features, but they cannot handle large-parallax cases due to homography-based registration. To solve these issues, we propose UDIS++, a parallax-tolerant unsupervised deep image stitching technique. First, we propose a robust and flexible warp to model the image registration from global homography to local thin-plate spline motion. It provides accurate alignment for overlapping regions and shape preservation for non-overlapping regions by joint optimization concerning alignment and distortion. Subsequently, to improve the generalization capability, we design a simple but effective iterative strategy to enhance the warp adaption in cross-dataset and cross-resolution applications. Finally, to further eliminate the parallax artifacts, we propose to composite the stitched image seamlessly by unsupervised learning for seam-driven composition masks. Compared with existing methods, our solution is parallax-tolerant and free from laborious designs of complicated geometric features for specific scenes. Extensive experiments show our superiority over the SoTA methods, both quantitatively and qualitatively. The code is available at https://github.com/nie-lang/UDIS2.

研究の動機と目的

• 伝統的なスティッチングにおける手作り幾何特徴の限界と、視差が大きい場合の深層スティッチングにおける一般化ギャップを動機づけ、対処する。
• コンテンツアライメントと形状保存のために、global homographyと薄板スプライン変形を組み合わせた統一ワープを開発する。
• 歪みを伴うワープ中のコンテンツアライメントを最適化し、視差アーティファクトを低減するためのunsupervised seam-driven合成を設計する。
• 新しいデータセットと解像度を跨ぐ一般化を改善するための反復的なワープ適応戦略を提案する。
• 最先端の手法に対する広範な実験を通じて、有効性と効率を示す。

提案手法

• ホモグラフィとTPSを統合したハイブリッドワープを、グローバルな整列と局所的変形の両方を可能にするコンパクトな表現にパラメータ化する。
• ResNet50ベースの特徴抽出と文脈的相関を用いて、ホモグラフィパラメータと残差TPSコントロールドポイントの動きを回帰する。
• アラインメントと歪みの損失を定義し、ワーピング中のコンテンツアライメントと形状保存を最適化する。格子間および格子内制約を含む。
• 境界条件と滑らかさ項に導かれた連続マスクを生成してワープ後の画像をブレンドする seam-drivenなunsupervised合成ネットワークを導入する。
• Siamese風の特徴抽出（重み共有）と残差特徴融合を用いたUNetライクな合成ネットワークを訓練し、シームレスなスティッチングのための合成マスクを予測する。
• ラベルを必要とせず、新しいデータセット上で局所的なワープを改良する反復的ワープ適応手順を導入し、TPS整列特徴に対して再構成風のunsupervised損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 グローバルと局所変換を組み合わせた統一ワープは、大きな視差下でのアライメントをどのように改善するか？
• RQ2 photometricに基づくシーム最適化を用いず、unsupervised seam-driven合成は視差アーティファクトを低減できるか？
• RQ3 反復的でunsupervisedな適応戦略は、クロスデータセットおよびクロス解像度の一般化を改善するか？
• RQ4 提案されたワープと合成フレームワークは、品質と効率の点で最先端の従来および深層スティッチング手法と比較してどうか？

主な発見

• 提案されたワープは、難易度の高いデータセット上で、従来および深層スティッチングのベースラインと比較して優れたアライメントと形状保存を実現する。
• シーム駆動の合成は、再構成ベースの方法より視差アーティファクトを効果的に排除し、GPUアクセラレーションにより実行速度が向上する。
• 反復的なワープ適応は、ラベルを必要とせず局所的アラインメントを更新することで、クロスデータセットおよびクロス解像度の一般化を改善する。
• 大きな視差の下で、従来のワープ法や一部の深層学習スティッチング法に比べて、効率的な利点を示す。
• このフレームワークは、リアルタイムまたはほぼリアルタイムのスティッチングに適した、実用的でGPU加速された解決策を提供する。