[論文レビュー] High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling

Yu Zeng, Zhe Lin+4 more|arXiv (Cornell University)|May 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 7

ひとこと要約

本稿では、大規模な穴に対して段階的に予測を精緻化するための信頼度フィードバック機構を用いた反復的高解像度画像補填手法を提案する。深く生成的モデルを訓練して補填画像と信頼度マップを同時に予測させることで、反復処理において信頼度の高い領域を優先的に信頼し、ガイド付きアップサンプリングを用いて高解像度の詳細を強化することで、実際の物体除去タスクにおいて最先端の結果を達成し、視覚的品質を向上させるとともにアーティファクトを低減する。

ABSTRACT

Existing image inpainting methods often produce artifacts when dealing with large holes in real applications. To address this challenge, we propose an iterative inpainting method with a feedback mechanism. Specifically, we introduce a deep generative model which not only outputs an inpainting result but also a corresponding confidence map. Using this map as feedback, it progressively fills the hole by trusting only high-confidence pixels inside the hole at each iteration and focuses on the remaining pixels in the next iteration. As it reuses partial predictions from the previous iterations as known pixels, this process gradually improves the result. In addition, we propose a guided upsampling network to enable generation of high-resolution inpainting results. We achieve this by extending the Contextual Attention module to borrow high-resolution feature patches in the input image. Furthermore, to mimic real object removal scenarios, we collect a large object mask dataset and synthesize more realistic training data that better simulates user inputs. Experiments show that our method significantly outperforms existing methods in both quantitative and qualitative evaluations. More results and Web APP are available at https://zengxianyu.github.io/iic.

研究の動機と目的

• 大穴に対してリアルな高解像度画像補填結果を生成する課題に取り組むこと。特に、現実世界の物体除去シナリオにおける挑戦に焦点を当てる。
• 大穴の曖昧さや構造的理解の欠如に起因する、従来の深層学習ベースの補填手法における視覚的アーティファクトを低減すること。
• 予測の信頼性に基づいて段階的に予測を精緻化する信頼度フィードバックループを導入することで、モデルのロバスト性を向上させること。
• ガイド付きアップサンプリングを用いて構造的生成とテクスチャ再構築を分離することで、高解像度出力品質を向上させること。
• 実際のユーザー入力を模倣するため、物体形状のマスクを収集し、多様な穴パターンを合成することで、よりリアルなトレーニングデータを構築すること。

提案手法

• 本手法は、補填画像と信頼度マップを出力する深層生成モデルを採用しており、信頼度が高いピクセルは後続の反復処理でより重視される。
• 反復的フィードバックループは、信頼度マップを用いて信頼できる予測を特定し、それらを既知領域として扱い、残りの不確実な領域のみを再処理する。
• ガイド付きアップサンプリングネットワークは、低解像度出力と類似する高解像度特徴パッチを入力画像から借用することで、高解像度結果を再構築する。
• コンテキストアテンションモジュールを拡張し、高解像度での特徴パッチの取得を可能にすることで、最終出力におけるテクスチャ詳細の忠実性を向上させる。
• トレーニングデータは、前景遮蔽と背景のみの穴シナリオを含む大規模な物体マスクデータセットを用いて拡張され、実際のユーザー入力を模倣する。
• モデルは再構成損失と adversarial 損失の組み合わせで訓練され、信頼度予測は専用の信頼度デコーダーヘッドを介して促進される。

実験結果

リサーチクエスチョン

• RQ1 予測信頼度に基づく反復的フィードバック機構は、大穴における画像補填の品質を向上させることができるか？
• RQ2 予測信頼度に基づく段階的精緻化は、事前に定義された段階的補填戦略と比較して、視覚的および定量的性能において優れているか？
• RQ3 高解像度特徴を用いたガイド付きアップサンプリングは、高解像度補填結果のリアルさと詳細を向上させることができるか？
• RQ4 リアルな物体形状のトレーニングデータを用いることで、実世界の応用における汎化性能とユーザーの好みがどの程度向上するか？
• RQ5 信頼度しきい値や反復回数などのハイパーパrameterの変更に対して、性能はどの程度感度を示すか？

主な発見

• 反復的信頼度フィードバック（CF）を用いた本手法は、CelebA-HQ データセットで PSNR 28.20、FID 0.8985 を達成し、信頼度フィードバックなしのベースラインモデルを上回る性能を示した。
• 反復的信頼度フィードバック機構は、信頼度の高い領域（PSNR 36.38、FID 0.981）において顕著に性能を向上させたが、信頼度の低い領域（PSNR 30.00、FID 0.923）と比較して顕著な差が見られた。
• リアルなトレーニングデータ（RT）を含めることで性能が向上し、Ours* モデルは PSNR 27.67、FID 0.8949 を達成し、実世界の入力への汎化性能が向上した。
• ガイド付きアップサンプリングにより高解像度生成が可能になった：Ours モデルは 1024×1024 の出力において視覚的に優れた結果を生成し、テクスチャの詳細が強化されたが、再構成制約のため定量スコアは Ours* よりわずかに低かった。
• 本手法はハイパーパrameterの変更に対してロバストである：感度分析により、λ の値が 0.7 から 0.13 の範囲で変動しても PSNR は安定して 28.1–28.5 の範囲を維持した。
• ユーザースタディーでは、ガイド付きアップサンプリング版（Ours）が Ours* よりも頻繁に好まれており、定量スコアはわずかに低くても、知覚的品質が向上していることが示された。