[論文レビュー] Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes

Liang Liao, Jing Xiao+3 more|arXiv (Cornell University)|Mar 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 10

ひとこと要約

本稿では、粗くから細かく、多スケールの間で意味的セグメンテーションと画像補填を繰り返し統合的に最適化することで、構造的プライオリティと画像コンテンツを段階的に改善する、意味的注意型画像補填フレームワークであるSGE-Netを提案する。意味的セグメンテーションの信頼度スコアを用いて補填を誘導および評価することで、明確な境界と写真のような質感を持つ混合シーンにおいて、最先端の手法を上回る優れた結果を達成した。

ABSTRACT

Completing a corrupted image with correct structures and reasonable textures for a mixed scene remains an elusive challenge. Since the missing hole in a mixed scene of a corrupted image often contains various semantic information, conventional two-stage approaches utilizing structural information often lead to the problem of unreliable structural prediction and ambiguous image texture generation. In this paper, we propose a Semantic Guidance and Evaluation Network (SGE-Net) to iteratively update the structural priors and the inpainted image in an interplay framework of semantics extraction and image inpainting. It utilizes semantic segmentation map as guidance in each scale of inpainting, under which location-dependent inferences are re-evaluated, and, accordingly, poorly-inferred regions are refined in subsequent scales. Extensive experiments on real-world images of mixed scenes demonstrated the superiority of our proposed method over state-of-the-art approaches, in terms of clear boundaries and photo-realistic textures.

研究の動機と目的

• 複数の意味的領域を有する混合シーンにおける、信頼性の高い意味的構造とテクスチャ生成の課題に対処すること。
• 損傷した入力からの不安定な構造的または意味的予測に依存する2段階手法の限界を克服すること。
• 意味的ガイダンスと信頼度評価を用いて、セグメンテーションマップと補填画像の両方を段階的に最適化することで、画像補填の品質を向上させること。
• セグメンテーションの信頼度スコアが、補填領域の忠実度を評価するための信頼できる指標として機能することを検証すること。
• 従来のセグメンテーション後に補填を行うパイプラインと比較して、セグメンテーションと補填を統合的に最適化することで性能が向上することを示すこと。

提案手法

• SGE-Netは、粗くから細かく、4つのスケールで画像補填と意味的セグメンテーションを繰り返し最適化する粗〜細かい多スケールフレームワークを採用する。
• 各スケールで、現在のセグメンテーションマップを空間的に注意を向けたガイダンスとして用い、補填品質を向上させる。位置依存の推論再評価が行われる。
• セグメンテーションヘッドから算出される信頼度スコアを用いて、次のスケールで不確実な領域を特定・最適化する。
• 粗いスケールから細かいスケールへと不確実性を伝搬する段階的最適化メカニズムを採用し、構造的およびテクスチャ的信頼性を向上させる。
• 画像生成と意味的セグメンテーションを同時に最適化することで、逐次パイプラインで一般的に見られる誤差の伝搬を回避する。
• ピixe単位の信頼度スコアを用いて、信頼性の低いピクセルマップを生成し、段階的最適化を誘導するとともに、補填品質の代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 意味的セグメンテーションと画像補填の繰り返し共最適化は、混合シーンにおける構造的およびテクスチャ的生成の信頼性を向上させることができるか？
• RQ2 セグメンテーションの信頼度スコアは、画像補填における不確実な領域の特定と最適化を効果的に可能にするか？
• RQ3 セグメンテーションと補填を統合的に最適化することは、セグメンテーション後に補填を行う逐次的手法を上回るか？
• RQ4 トレーニング時の初期意味的アノテーションの品質が、SGE-Netの性能にどのように影響するか？
• RQ5 信頼度スコアは、実際の補填忠実度（真値とのL1損失で測定）とどの程度相関するか？

主な発見

• SGE-Netは、混合シーン補填において最先端の性能を達成し、既存手法と比較して境界が明確で、より写真のような質感を持つ画像を生成した。
• 意味的セグメンテーションを動的かつスケールに適応したガイダンスとして用いることで、意味的境界におけるアーティファクトとテクスチャの曖昧さを低減した。
• セグメンテーションの信頼度スコアは、真値とのL1損失と強く相関しており、補填コンテンツの忠実度を評価する指標としての有効性を裏付けた。
• 自動生成されたセグメンテーションマップ（例：DPN や Deeplab v3+ から得たもの）を用いてトレーニングしても、SGE-Netは高い性能を維持し、PSNRにわずかな低下（Outdoor Scenesで20.19 vs. 20.53）を示した。
• セグメンテーション後に補填を行うベースラインと比較して、SGE-Netはセグメンテーションの精度が高く、より明確な物体境界と一貫性のある意味的アサインメントを生成した。
• 段階的最適化メカニズムにより、不確実な領域の補填品質が顕著に向上したことが、視覚的比較および信頼度スコアマップから明らかになった。