[論文レビュー] Foreground-aware Image Inpainting

Wei Xiong, Jiahui Yu+5 more|arXiv (Cornell University)|Jan 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 23

ひとこと要約

本稿では、輪郭予測と画像補完を分離することで、複雑なシーンにおける重なったり接している前景オブジェクトに穴が及ぶ状況でも著しく高品質な画像補完を実現する、前景に配慮した画像補完手法を提案する。穴が前景オブジェクトと重複する場合や接している場合でも、学習された前景輪郭をガイドとして用いることで、従来の学習ベース手法に比べて定量的指標およびユーザーレビューの両面で最先端の結果を達成する。オブジェクト境界を事前に明示的にモデル化することで、複雑な構成における画像補完品質が向上する。

ABSTRACT

Existing image inpainting methods typically fill holes by borrowing information from surrounding pixels. They often produce unsatisfactory results when the holes overlap with or touch foreground objects due to lack of information about the actual extent of foreground and background regions within the holes. These scenarios, however, are very important in practice, especially for applications such as the removal of distracting objects. To address the problem, we propose a foreground-aware image inpainting system that explicitly disentangles structure inference and content completion. Specifically, our model learns to predict the foreground contour first, and then inpaints the missing region using the predicted contour as guidance. We show that by such disentanglement, the contour completion model predicts reasonable contours of objects, and further substantially improves the performance of image inpainting. Experiments show that our method significantly outperforms existing methods and achieves superior inpainting results on challenging cases with complex compositions.

研究の動機と目的

• 穴が前景オブジェクトと重複または接している場合に、従来の深層学習ベースの補完手法が失敗する問題に対処すること。
• 暗黙の学習に依存するのではなく、前景構造を明示的にモデル化することで、複雑な構成における画像補完品質を向上させること。
• まず輪郭予測と補完を実行し、その後に画像コンテンツを生成する分離型フレームワークを構築すること。
• 輪郭ガイドが、特にオブジェクト境界周辺でより現実的でアーティファクトのない補完結果をもたらすことを実証すること。
• カリキュラム学習が、輪郭補完モジュールと画像補完モジュールの共同最適化に効果的であることを検証すること。

提案手法

• 入力画像に穴が存在する場合、輪郭検出モジュールを用いて前景輪郭を検出する。
• 輪郭補完モジュールが、穴によってオブジェクトの縁が遮断されている場合でも、欠落している部分の前景オブジェクト境界を予測する。
• 補完された輪郭を空間的ガイドとして用い、画像補完ネットワークを条件づける。その後、このネットワークが穴内に現実的なコンテンツを生成する。
• より良い一般化を実現するため、輪郭補完と画像補完モジュールを同時に最適化するカリキュラム学習を採用する。
• モデルは、前景オブジェクトに対する穴の形状や位置が多様であるように設計されたカスタムのサリエンシー画像データセット上で学習される。
• 構造推論（輪郭予測）とコンテンツ生成を分離することで、より正確で意味的に意識された補完が可能になる。

実験結果

リサーチクエスチョン

• RQ1 穴が前景オブジェクトと重複または接している場合に、前景オブジェクトの輪郭を明示的にモデル化することで、画像補完性能が向上するか？
• RQ2 予測された輪郭を空間的ガイドとして用いることで、そのような監視がなければエンドツーエンド学習に比べて、より現実的でアーティファクトのない画像補完が達成できるか？
• RQ3 輪郭予測と画像補完の分離が、複雑な構成における生成画像の品質にどのように影響するか？
• RQ4 ベースラインのGANベース補完モデルと比較して、輪郭ガイドがオブジェクト境界周辺の視覚的アーティファクトをどの程度低減するか？
• RQ5 カリキュラム学習は、輪郭補完と画像補完モジュールの共同学習を効果的に改善できるか？

主な発見

• 提案手法は、サリエンシー・データセット上でPSNR 29.86、SSIM 0.9383を達成し、PartialConv や GatedConv を含むすべてのベースラインを上回った。
• ユーザーレビューにおいて、完全モデルは1,099票中731票を獲得し、PartialConv（100票）や GatedConv（100票）を大きく上回った。
• アブレーションスタディの結果、輪郭ガイドを除去するとオブジェクト境界周辺に顕著なアーティファクトが生じ、輪郭ガイドが高品質な結果にとって不可欠であることが確認された。
• 大きな穴や不規則な穴に対しても、輪郭補完モジュールは妥当なオブジェクト境界を効果的に予測でき、より正確な画像補完を可能にした。
• 輪郭ガイドなしのモデルでさえも良好な性能（PSNR 29.35）を示すが、輪郭ガイドの追加によりPSNRが0.51向上、SSIMが0.0027向上し、一貫した向上が確認された。
• 視覚的比較では、提案手法が、特にオブジェクトエッジ付近で、従来手法と比較してより自然なオブジェクト形状とより少ないアーティファクトを生成していることが示された。