[論文レビュー] Image Inpainting using Block-wise Procedural Training with Annealed Adversarial Counterpart

Chao Yang, Yuhang Song+3 more|arXiv (Cornell University)|Mar 23, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 24

ひとこと要約

本論文は、条件付きGANを用いた画像補完のための新しいブロック単位の手続き的訓練（BPT）および敵対的損失の段階的低下（ALA）フレームワークを提案する。深層ネットワークを段階的に訓練し、敵対的訓練を安定化させることで、アーチファクトを低減し、知覚的品質を向上させることで、補完、調和、ガイド付き編集の分野で最先端の結果を達成した。

ABSTRACT

Recent advances in deep generative models have shown promising potential in image inpanting, which refers to the task of predicting missing pixel values of an incomplete image using the known context. However, existing methods can be slow or generate unsatisfying results with easily detectable flaws. In addition, there is often perceivable discontinuity near the holes and require further post-processing to blend the results. We present a new approach to address the difficulty of training a very deep generative model to synthesize high-quality photo-realistic inpainting. Our model uses conditional generative adversarial networks (conditional GANs) as the backbone, and we introduce a novel block-wise procedural training scheme to stabilize the training while we increase the network depth. We also propose a new strategy called adversarial loss annealing to reduce the artifacts. We further describe several losses specifically designed for inpainting and show their effectiveness. Extensive experiments and user-study show that our approach outperforms existing methods in several tasks such as inpainting, face completion and image harmonization. Finally, we show our framework can be easily used as a tool for interactive guided inpainting, demonstrating its practical value to solve common real-world challenges.

研究の動機と目的

• 非常に深く、高品質な画像補完を目的とした生成モデルの訓練における不安定性と収束不良を解消すること。
• 生成画像の穴の周辺における目立つアーチファクトや知覚的不連続性を低減すること。
• 画像調和およびガイド付き補完タスクにおける一般化性と現実性を向上させること。
• 安定性や品質を損なわずに、より深いネットワークを可能にする訓練手法を開発すること。

提案手法

• 生成器ネットワークに段階的に残差ブロックを追加するブロック単位の手続き的訓練（BPT）を導入し、各段階を収束するまで訓練した後、さらに深くする。
• 敵対的損失の重みを段階的に低下させる敵対的損失の段階的低下（ALA）を採用し、ノイズやアーチファクトを抑制する。
• 事前学習済みネットワークからの特徴を比較するPatch知覚的損失（PPL）を提案し、ℓ₂損失よりも構造的・テクスチャ的整合性を向上させる。
• 複数スケールのパッチ敵対的損失（MSPAL）を導入し、複数スケールでリアルなテクスチャディテールを強制的に学習させる。
• 生成器がマスクされた入力を受け取り、完成した画像を出力する条件付きGANフレームワークを採用し、ディスクライマーは実画像と生成画像のパッチを区別するように訓練する。
• 共通エンコーダとタスク固有のヘッドを備えた統合ネットワークを用いて、補完と調和の両方を同時に学習するフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブでブロック単位の訓練スキームは、非常に深く、条件付きGANを用いた画像補完の訓練を安定化させることができるか？
• RQ2 敵対的損失の段階的低下は、高解像度画像生成におけるアーチファクトの低減と知覚的品質の向上に寄与するか？
• RQ3 Patch知覚的損失（PPL）と複数スケールのパッチ敵対的損失（MSPAL）は、ℓ₂損失および標準GAN損失と比較して、補完品質にどのように寄与するか？
• RQ4 提案されたフレームワークは、インタラクティブなガイド付き補完および画像調和タスクに効果的に拡張可能か？
• RQ5 定量的指標およびユーザースタディーにおいて、本手法は既存の最先端手法をどの程度上回るか？

主な発見

• 提案されたBPTおよびALA訓練スキームにより、従来の手法よりも深い生成器の訓練が可能となり、より高品質で現実的な画像補完が実現した。
• PPLとMSPAL損失の組み合わせは、ℓ₂損失および標準GAN損失と比較して、質的・定量的評価の両面で知覚的品質とシャープネスを顕著に向上させた。
• ユーザースタディーの結果、人間の評価者は本手法の出力が[12]および[23]の結果よりも、現実性、一貫性、アーチファクトの少なさの点で好まれた。
• 顔補完および大規模画像調和の分野における標準ベンチマークにおいて、本手法は最先端のパフォーマンスを達成した。
• 本フレームワークは、正確なセグメンテーションを必要とせず、バウンディングボックス入力のみで、インタラクティブなガイド付き補完を効果的にサポートし、現実的なオブジェクト合成を可能にした。
• 補完と調和の共同学習により、[23]と比較して優れた結果が得られ、特に色の整合性と視覚的現実性の点で顕著に優れた性能を示した。