[論文レビュー] TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations

Yuqian Zhou, Connelly Barnes+2 more|arXiv (Cornell University)|Mar 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 70被引用数 4

ひとこと要約

TransFillは、複数のホモグラフィーを用いてソース画像を穴あきのターゲット画像にアライメントし、学習された色変換と空間変換を適用して一貫性を確保した後、学習されたマスクを用いて結果を統合する、リファレンスガイドド画像インpainting手法を提案する。深度推定に基づくホモグラフィー推定、バイラテラルカラーテンプレーション、マルチプロポーザル統合を組み合わせることで、視差、照明差、大きな変形を伴う複雑な穴に対しても最先端の性能を達成する。

ABSTRACT

Image inpainting is the task of plausibly restoring missing pixels within a hole region that is to be removed from a target image. Most existing technologies exploit patch similarities within the image, or leverage large-scale training data to fill the hole using learned semantic and texture information. However, due to the ill-posed nature of the inpainting task, such methods struggle to complete larger holes containing complicated scenes. In this paper, we propose TransFill, a multi-homography transformed fusion method to fill the hole by referring to another source image that shares scene contents with the target image. We first align the source image to the target image by estimating multiple homographies guided by different depth levels. We then learn to adjust the color and apply a pixel-level warping to each homography-warped source image to make it more consistent with the target. Finally, a pixel-level fusion module is learned to selectively merge the different proposals. Our method achieves state-of-the-art performance on pairs of images across a variety of wide baselines and color differences, and generalizes to user-provided image pairs.

研究の動機と目的

• 自己類似性や単一画像生成が失敗するような大規模で複雑な穴の埋め込みに挑むこと。
• 同じシーンのリファレンス画像が利用可能である場合でも、顕著な視点の変化や照明差がある状況においても頑健な画像インpaintingを可能にすること。
• グローバルホモグラフィーの限界を克服し、複数の深度推定ホモグラフィーを用いて視差をモデル化すること。
• エンドツーエンドで学習された色変換と空間変換により、ソース画像とターゲット画像間の視覚的一貫性を向上させること。
• 遮蔽や歪みによって欠落したピクセル領域において、高品質なインpaintingを実現するため、複数の変換済みプロポーザルを統合し、単一画像インpaintingをバックアップとして適用すること。

提案手法

• ターゲット画像とソース画像間の特徴対応点を推定し、深度ごとにインライヤーをクラスタリングして複数の深度平面を推定する。
• 各深度クラスタに対してホモグラフィーを計算し、ソース画像をターゲット画像にアライメントする。これにより、複数の初期アライメントプロポーザルが得られる。
• 各プロポーザルに対して、深層バイラテラルカラーテンプレーションを適用し、ソース画像とターゲット画像間の色分布を統一する。
• 各ピクセルごとの空間変換（ワープ）を学習し、アライメントの微調整と残存する幾何的歪みの補正を行う。
• 複数の変換済みプロポーザルを1つの一貫性のある出力に統合するためのピクセル単位の重みを学習する統合ネットワークを訓練する。
• 変換後にコンテンツが欠落する領域を補完するために、事前学習済みの単一画像インpaintingモデル（ProFill）を統合し、統合重みを学習してこの出力とマルチプロポーザルの結果を統合する。

Figure 2: System pipeline. Given the target image $I_{t}^{M}$ masked by an associated binary hole image $M$ , and a single source image $I_{s}$ , we first propose multiple global homographies using the multi-homography proposal module, and locally adjust color and spatial misalignments in each propo

実験結果

リサーチクエスチョン

• RQ1 異なる深度平面にそれぞれアライメントする複数のホモグラフィーは、視差を伴う大規模な穴に対して、1つのグローバルホモグラフィーと比較して画像インpainting性能を向上させるか？
• RQ2 異なる照明や露出を有するソース画像をターゲット画像にアライメントするために、学習された色変換と空間変換はどの程度有効か？
• RQ3 学習可能な統合マスクを用いて複数の変換済みソースプロポーザルを統合することは、単一または重みなしの統合と比較して、より優れた結果をもたらすか？
• RQ4 本手法は、大きな視点差や複雑なシーンレイアウトを持つユーザー提供の画像ペアに対しても、一般化性を示すか？
• RQ5 変換後にソース画像のコンテンツが欠落する領域において、単一画像インpaintingモデルの統合が、結果にどの程度向上効果をもたらすか？

主な発見

• RealEstate10Kデータセットにおいて、フレームのずれが10の条件下で、PSNRが39.59、SSIMが0.9919、LPIPSが0.0116を達成し、先行研究の最先端手法を上回る性能を示した。
• フレームのずれが30の条件下でも、PSNRが35.62、LPIPSが0.0213を維持しており、大規模な幾何的シフトに対して高いロバストネスを示した。
• ホモグラフィー推定のための特徴点の深度ベースクラスタリングは、ランダムクラスタリングや空間クラスタリングを上回り、5つのホモグラフィーを用いた場合にPSNRが37.576に達した。
• カラーディスクリミネーションと空間変換モジュールは不可欠である：カラーモジュールまたは空間変換モジュールを除去すると、PSNRが1.0以上低下し、両者の補完的役割が明確になった。
• カラーディスクリミネーションと空間変換、および融合ネットワーク（CST + SPF）を備えた完全なパイプラインが最良の性能（PSNR 37.576）を達成し、これらのコンponentsを欠落させたアブレーションと比較して顕著に優れた性能を示した。
• ユーザースタディーでは、ベースラインと比較して95.65%の選好率を達成し、p < 10^-6であった。これは、ユーザーが本手法の結果を強く好むことを示している。

Figure 3: Multi-homography Proposal Module. We compute the monocular depth $D_{t}$ of the non-hole region $I_{t}^{M}$ , and cluster the feature matching points into $N$ sub-groups using the depth values. Each estimated homography $H_{i}$ will align different regions within the hole. ${}^{*}H_{6}$ in