[論文レビュー] Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography

Lang Nie, Chunyu Lin+2 more|arXiv (Cornell University)|Dec 11, 2020

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 23

ひとこと要約

本論文は、大基準線の深層ホモロジー部とエッジを保持する変形部を組み合わせた深層学習フレームワークを提案し、任意の視点と入力サイズの画像を正確にスターチング可能にする。マルチスケール特徴量とエッジに配慮した精錬を活用することで、ゴースト効果やエッジの不連続性を顕著に低減し、現実世界のシーンに対しても良好な一般化性能を示す。

ABSTRACT

Image stitching is a classical and crucial technique in computer vision, which aims to generate the image with a wide field of view. The traditional methods heavily depend on the feature detection and require that scene features be dense and evenly distributed in the image, leading to varying ghosting effects and poor robustness. Learning methods usually suffer from fixed view and input size limitations, showing a lack of generalization ability on other real datasets. In this paper, we propose an image stitching learning framework, which consists of a large-baseline deep homography module and an edge-preserved deformation module. First, we propose a large-baseline deep homography module to estimate the accurate projective transformation between the reference image and the target image in different scales of features. After that, an edge-preserved deformation module is designed to learn the deformation rules of image stitching from edge to content, eliminating the ghosting effects as much as possible. In particular, the proposed learning framework can stitch images of arbitrary views and input sizes, thus contribute to a supervised deep image stitching method with excellent generalization capability in other real images. Experimental results demonstrate that our homography module significantly outperforms the existing deep homography methods in the large baseline scenes. In image stitching, our method is superior to the existing learning method and shows competitive performance with state-of-the-art traditional methods.

研究の動機と目的

• 密で均等に分布した特徴量に依存する伝統的手法が、ゴースト効果や低いロバスト性を抱えるという限界を是正すること。
• 既存の深層学習ベースのスターチング手法が固定された入力サイズと一般化能力の制限を克服すること。
• 任意の視点と入力サイズからの画像スターチングが可能な柔軟でエンドツーエンドの深層学習フレームワークを開発すること。
• エッジからコンテンツに至る変形ルールを学習することで、ゴースト効果とエッジの不連続性を最小限に抑えること。

提案手法

• マルチスケール特徴量を用いた特徴量ピラミッドから、大基準線の状況においても精度を高める大基準線深層ホモロジー部を設計した。
• 特徴量マップ間の特徴量照合を効率的に行うために、特徴量相関層を採用し、畳み込みフィルタに依存せず、グローバルからローカルな照合を可能にした。
• 画像統合時にエッジの連続性に注目することで、誤一致の補正と不連続エッジの滑らか化を学習するエッジを保持する変形部を設計した。
• 2段階戦略を採用：ホモロジー推定による粗いアライメントの後、エッジに配慮した監視による細かい変形補正を実施。
• 任意の入力サイズを可能にするために、全結合層を避けるか、適応的スキームを採用し、一般化能力を維持した。
• 多様な基準線変動を含む合成データセットでモデルを学習させ、現実世界の分布シフトに対しても耐性を高めた。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴量を用いることで、大基準線画像ペアの正確なホモロジー推定が深層学習フレームワークで達成可能か？
• RQ2 画像スターチングの過程でエッジの連続性をどのように維持すれば、視覚的アーティファクトやゴースト効果を低減できるか？
• RQ3 合成データで学習したにもかかわらず、深層スターチングモデルが現実世界の画像に効果的に一般化できるか？
• RQ4 特徴量相関とマルチスケール特徴量ピラミッドは、ホモロジー推定性能にどの程度寄与するか？
• RQ5 エッジからコンテンツに至る学習により、スターチング画像の視覚的品質と構造的一致性が向上するか？

主な発見

• 提案された大基準線深層ホモロジー部は、既存の深層ホモロジー手法に比べ、大基準線シーンで顕著に優れた性能を示し、ホモロジー推定におけるRMSEが低かった。
• エッジを保持する変形部は、ゴースト効果を効果的に低減し、エッジの連続性を回復させ、ベースラインと比較して視覚的に滑らかなスターチング結果を生成した。
• 伝統的手法の最先端性能に匹敵する性能を達成した一方で、既存の深層学習ベースのスターチング手法を上回り、視覚的品質とアーティファクト低減の両面で優れた性能を示した。
• アブレーションスタディにより、特に重なり率が低い状況下でも、特徴量ピラミッドと特徴量相関層が正確なホモロジー推定に不可欠であることが確認された。
• エッジ変形ブランチはエッジの連続性を達成するために不可欠であり、その除去によりスターチング出力に顕著なエッジの不連続性が生じた。
• 合成データでのみ学習したにもかかわらず、フレームワークは現実世界の画像に対し良好に一般化し、任意の視点や入力サイズに対しても強いロバスト性と適応性を示した。