[論文レビュー] Image Inpainting Guided by Coherence Priors of Semantics and Textures

Liang Liao, Jing Xiao+3 more|arXiv (Cornell University)|Dec 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 8

ひとこと要約

本稿では、複雑なシーンにおける穴埋めの質を向上させるために、意味とテクスチャの間の整合性事前知識を活用する、共同画像穴埋めとセマンティックセグメンテーションフレームワークを提案する。セマンティック別アテンション伝播（SWAP）モジュールと、グローバル構造およびローカルピクセルレベルの2つの整合性損失を導入することで、意味的ガイド付きの高精細なテクスチャ生成を実現し、複数カテゴリの穴が存在する困難なシーンにおいて、最先端の手法を著しく上回る境界の明確さとテクスチャの現実性を達成する。

ABSTRACT

Existing inpainting methods have achieved promising performance in recovering defected images of specific scenes. However, filling holes involving multiple semantic categories remains challenging due to the obscure semantic boundaries and the mixture of different semantic textures. In this paper, we introduce coherence priors between the semantics and textures which make it possible to concentrate on completing separate textures in a semantic-wise manner. Specifically, we adopt a multi-scale joint optimization framework to first model the coherence priors and then accordingly interleavingly optimize image inpainting and semantic segmentation in a coarse-to-fine manner. A Semantic-Wise Attention Propagation (SWAP) module is devised to refine completed image textures across scales by exploring non-local semantic coherence, which effectively mitigates mix-up of textures. We also propose two coherence losses to constrain the consistency between the semantics and the inpainted image in terms of the overall structure and detailed textures. Experimental results demonstrate the superiority of our proposed method for challenging cases with complex holes.

研究の動機と目的

• 複数の意味的カテゴリと混合テクスチャを有する複雑な穴埋めの課題に対処すること。
• 意味とテクスチャの相互一貫性をモデル化することで、テクスチャの現実性と境界の明確さを向上させること。
• 意味に適応した非局所アテンションによるガイドによって、テクスチャの混合を低減すること。
• 多スケールで粗くから細かくまで段階的に最適化するフレームワークを用いて、セマンティックセグメンテーションと画像穴埋めを共同で最適化すること。
• 予測された意味と穴埋め画像の間でグローバル構造的およびローカルピクセルレベルの整合性を強制する損失関数を開発すること。

提案手法

• 粗くから細かくまで段階的に、画像穴埋めとセマンティックセグメンテーションを交互に精緻化する多スケールの共同最適化フレームワークを導入する。
• 同じ予測意味クラスに属する領域からのみテクスチャ特徴を選択する、セマンティック別アテンション伝播（SWAP）モジュールを提案する。これにより、不適切なテクスチャの埋め込みが低減される。
• 穴埋め画像と予測セグメンテーションマップの間で構造的整合性を強制する画像レベルの構造整合性損失を設計する。
• 同じ意味的カテゴリに属する既知のピクセル群の分布に近づくように、生成されたテクスチャを促進する非局所ピクセルレベルの整合性損失を導入する。
• スケールをまたがる意味とテクスチャの相互作用をモデル化するために、共有特徴表現を用いる。
• タスク固有のヘッドを備えた共有エンコーダ-デコーダーベースを採用し、穴埋めとセグメンテーションの共同最適化を実現する。

Figure 1: Upper part: Mapping between image textures and edges/semantics (Dot arrow - extraction of edges/semantics; solid arrow - texture generation). Notice that two similar edge patches in a green circle could be mapped to completely different semantic textures, but one semantic will be clearly m

実験結果

リサーチクエスチョン

• RQ1 意味とテクスチャの整合性事前知識は、複数の意味的領域を有する複雑な穴埋めにおいて、画像穴埋めの品質を向上させることができるか？
• RQ2 グローバルまたは意味なしアテンションと比較して、意味別アテンション伝播はテクスチャの混合を低減するか？
• RQ3 穴埋めとセグメンテーションの共同最適化は、逐次的または独立した学習よりも優れた性能を達成できるか？
• RQ4 提案されたグローバルおよびローカル整合性損失は、構造的およびテクスチャ的整合性を維持するためにどれほど効果的か？
• RQ5 本モデルは、意味アノテーションのない未学習データセット（例：Places2）にも一般化可能か？

主な発見

• Outdoor Scenes データセットにおいて、本手法はPSNR 21.18、SSIM 0.81、FID 38.15を達成し、ベースラインおよびアブレーションバージョンを上回った。
• SWAPモジュール単体でも、ベースモデルと比較してPSNRが3.75ポイント向上し、FIDが18.85ポイント改善され、テクスチャの混合低減効果が明確に示された。
• SWAPと整合性損失を両方追加した（Ours Full）バージョンでは、Ours (SWAP) 単体と比較して、PSNRが+1.6ポイント、FIDが-1.21ポイント改善され、最大の向上を示した。
• Outdoor Scenes ではmIoUが0.71、Cityscapes では0.57を達成し、セグメンテーション精度においてSPG-Net や SGE-Net を上回った。
• Places2 データセットでは、意味アノテーションが存在しなくても、整合性損失のおかげで強力なシーン事前知識が得られ、妥当なテクスチャと構造が生成された。
• 視覚的比較では、EdgeConnectはエッジの曖昧さにより誤ったテクスチャを生成するのに対し、本手法は意味的一致性に従ってよりリアルな結果を生成した。

Figure 2: Proposed network architecture. At each scale, both the inpainted image and segmentation map are output from two task-specific heads to control the predicted structures of the shared features. SWAP is added between scales to progressively optimize the texture details of contextual feature.