[論文レビュー] Deep Rectangling for Image Stitching: A Learning Baseline

Lang Nie, Chun-Yu Lin+3 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

本論文は、画像ステッチにおける画像レクタングル化のための最初の1段階型ディーブラーニングアプローチを提案する。完全畳み込みネットワークと残差プログレッシブレグレッションを用い、ステッチ済み画像から初期メッシュを予測する。境界の長方形性、メッシュ形状の保存、知覚的コンテンツ忠実度を包括的な損失関数により強制することで、線形および非線形構造の両方をよりよく保持する。新しく作成されたデータセット（DIR-D）において、従来の2段階型アプローチを上回る優れた定性的および定量的結果を達成する。

ABSTRACT

Stitched images provide a wide field-of-view (FoV) but suffer from unpleasant irregular boundaries. To deal with this problem, existing image rectangling methods devote to searching an initial mesh and optimizing a target mesh to form the mesh deformation in two stages. Then rectangular images can be generated by warping stitched images. However, these solutions only work for images with rich linear structures, leading to noticeable distortions for portraits and landscapes with non-linear objects. In this paper, we address these issues by proposing the first deep learning solution to image rectangling. Concretely, we predefine a rigid target mesh and only estimate an initial mesh to form the mesh deformation, contributing to a compact one-stage solution. The initial mesh is predicted using a fully convolutional network with a residual progressive regression strategy. To obtain results with high content fidelity, a comprehensive objective function is proposed to simultaneously encourage the boundary rectangular, mesh shape-preserving, and content perceptually natural. Besides, we build the first image stitching rectangling dataset with a large diversity in irregular boundaries and scenes. Experiments demonstrate our superiority over traditional methods both quantitatively and qualitatively.

研究の動機と目的

• 非線形構造（例：ポートレート）を含む画像に苦戦する従来の2段階型画像レクタングル化手法の限界を解消する。
• 反復的メッシュ最適化の必要を回避する1段階型ディーブラーニングソリューションを開発し、並列計算が効率的に行えるようにする。
• 境界の長方形性、メッシュ形状の保存、知覚的自然さのバランスを取る包括的な損失関数を導入することで、レクタングル化画像のコンテンツ忠実度を向上させる。
• ディープレクタングル化モデルの学習と評価を可能にする、最初の大規模かつ多様なデータセット（DIR-D）を構築する。

提案手法

• 剛体的なターゲットメッシュを事前に定義し、完全畳み込みネットワークと残差プログレッシブレグレッションを用いて、初期メッシュのみを予測する1段階型ディーブラーニングフレームワークを提案する。
• 境界項（長方形出力を強制）、メッシュ項（メッシュ形状の保存）、コンテンツ項（知覚的自然さの確保）を組み合わせたマルチコンポonent損失関数を設計する。
• 新しく構築したDIR-Dデータセットを用いてネットワークをエンドツーエンドで学習する。このデータセットは、実際の長方形画像に逆レクタングル化変換を適用することで合成されたものである。
• 数万件の合成サンプルに対して手動でのフィルタリングを実施し、高品質かつ多様性に富んだデータを確保した。その結果、6,358件のクリーンな学習サンプルが得られた。
• 残差レグレッサーが段階的に初期メッシュ予測を改善するプログレッシブな精錬戦略を採用し、一般化性能を向上させるとともに、不均一な境界の発生を低減する。
• コンテンツ損失においてセマンティック理解を活用し、人間の顔や自然景観などの複雑な非線形構造を効果的に保存する。

実験結果

リサーチクエスチョン

• RQ1 1段階型ディーブラーニングアプローチは、従来の2段階型メッシュ変形手法を上回る性能を発揮するか。特に、線形および非線形構造の両方を良好に保持できるか。
• RQ2 残差プログレッシブレグレッション戦略は、多様な画像コンテンツにわたるメッシュ予測品質と一般化性能をどの程度向上させるか。
• RQ3 境界、メッシュ、コンテンツの各項をバランスさせる包括的な損失関数は、レクタングル化画像における知覚的忠実度をどの程度向上させるか。
• RQ4 多様なステッチ済み画像から長方形画像へのペアを含む新規に作成されたデータセット（DIR-D）は、ディープレクタングル化モデルの学習と評価を効果的に行うのに適しているか。
• RQ5 本手法は、アーティファクトや歪みを含む低品質または失敗したステッチ画像に対しても、一般化性能を示せるか。

主な発見

• 提案手法は、従来の2段階型手法に比べ、特にポートレートのような非線形構造の保持において優れた定性的な結果を達成した。従来手法では顕著な歪みが見られたが、本手法ではその問題を顕著に軽減した。
• ユーザースタディーの結果、70%の参加者が本手法の結果をHeらの手法の結果よりも好む傾向が示され、コンテンツ忠実度の高い知覚的優位性が裏付けられた。
• クロスデータセット評価において、SPW、LCP、UDISのステッチ済み画像を用いたテストでも、本手法はベースライン手法よりも歪みが少なく、低品質な入力（アーティファクトを含む）に対しても良好な性能を示した。
• アブレーションスタディーにより、損失関数のコンテンツ項とメッシュ項の両方が性能向上に顕著な寄与をしていることが確認された。また、残差プログレッシブレグレッション戦略により、困難なケースにおける不均一な境界の発生が顕著に低減された。
• 最適なメッシュ解像度は$8\times6$であることが判明した。性能と計算コストのバランスを考慮した結果、$16\times12$はより高いコストを要するが、性能向上はわずかであった。
• 本手法は、現実世界のステッチ失敗事例に対しても良好に一般化し、射影歪みやノイズを含む入力画像に対しても、高品質なレクタングル化を維持した。