[論文レビュー] Region-wise Generative Adversarial ImageInpainting for Large Missing Areas

Yuqing Ma, Xianglong Liu+5 more|arXiv (Cornell University)|Sep 27, 2019

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、存在領域と欠損領域を別々に処理するための領域別畳み込みを生成器および識別器に適用する、領域別に生成的対抗ネットワーク（GAN）フレームワークを提案する。さらに、非局所的なパッチレベルの依存関係を捉えるための相関損失を導入している。本手法は、複数のベンチマークにおいて、連続的および不連続的な大規模な欠損領域の両方において、最先端の手法を顕著に上回る性能を発揮する。

ABSTRACT

Recently deep neutral networks have achieved promising performance for filling large missing regions in image inpainting tasks. They usually adopted the standard convolutional architecture over the corrupted image, leading to meaningless contents, such as color discrepancy, blur and artifacts. Moreover, most inpainting approaches cannot well handle the large continuous missing area cases. To address these problems, we propose a generic inpainting framework capable of handling with incomplete images on both continuous and discontinuous large missing areas, in an adversarial manner. From which, region-wise convolution is deployed in both generator and discriminator to separately handle with the different regions, namely existing regions and missing ones. Moreover, a correlation loss is introduced to capture the non-local correlations between different patches, and thus guides the generator to obtain more information during inference. With the help of our proposed framework, we can restore semantically reasonable and visually realistic images. Extensive experiments on three widely-used datasets for image inpainting tasks have been conducted, and both qualitative and quantitative experimental results demonstrate that the proposed model significantly outperforms the state-of-the-art approaches, both on the large continuous and discontinuous missing areas.

研究の動機と目的

• 連続的で大規模な欠損領域を処理する際、ぼやけたテクスチャーや色の不一致、アーチファクトが生じる、既存の画像補填手法の限界を是正すること。
• 一度のアーキテクチャ内で連続的および不連続的な大規模な欠損領域を効果的に回復できる、統合的かつ汎用的なフレームワークの開発。
• 領域別畳み込みを用いて、存在領域と欠損領域のための特徴表現を別々にモデル化することで、意味的整合性と視覚的リアリズムを向上させること。
• 非局所的なパッチ間の依存関係を捉える新しい相関損失を導入することで、長距離の文脈的理解を強化すること。
• 特に困難な連続的穴領域において、欠損領域のサイズが増加するに従って、安定かつ頑健な性能を維持すること。

提案手法

• 生成器は、存在領域と欠損領域を別々に処理できる領域別畳み込みを活用しながら、連続するエンコーダ-デコーダーネットワークを2つ用いて、欠損コンテンツを同時に推論する。
• パッチ間の非局所的依存関係をモデル化するための相関損失を導入し、生成器がより正確な再構成のためのグローバルな文脈を活用できるようにする。
• 識別器は領域別畳み込みを用いて、領域レベルで本物の画像と生成された画像を区別することで、対抗訓練の安定性とリアリズムを向上させる。
• 対抗損失に加えて、知覚的損失と相関損失を統合することで、局所的な詳細とグローバルな意味的整合性の両方を向上させる。
• 生成器および識別器の両方で領域別畳み込みを適用することで、存在領域と欠損領域に特化した処理を可能にし、共有フィルターの妥協を回避する。
• 視覚的リアリズムと構造的整合性を最適化するため、対抗損失、知覚的損失、相関損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統一されたGANフレームワークは、画像補填において連続的および不連続的な大規模な欠損領域を効果的に処理できるか？
• RQ2 生成器および識別器における領域別畳み込みは、標準的な畳み込みと比較して、大規模な欠損領域の処理において性能を向上させるか？
• RQ3 相関損失は、パッチ間の非局所的依存関係をモデル化することで、どの程度再構成品質を向上させるか？
• RQ4 欠損領域サイズが増加するに従って、本手法は最先端の手法と比較してどの程度の頑健性を示すか？
• RQ5 本フレームワークは、不要なオブジェクトの除去などの実用的応用において、意味的に妥当で視覚的に現実的な結果を生成できるか？

主な発見

• 本手法は、CelebA-HQ、Paris Street View、Places2の3つのデータセットにおいて、連続的および不連続的な欠損領域の両方で、FID、PSNR、L1/L2メトリクスにおいて一貫した優位性を示し、全体的な性能が最高水準に達している。
• 連続的欠損領域において、本手法はEC、PConv、PICを顕著に上回り、最先端手法と比較してFIDスコアが著しく低い。
• マスクサイズが増加するに従っても、本手法は安定した性能を維持しており、他の手法と比較して劣化が遅いため、大規模な穴領域に対しても頑健であることが示された。
• 画素レベルの再構成において、本手法は不連続マスクにおいて最良のL2スコアを達成しており、相関損失のおかげで詳細回復性能が優れている。
• 相関損失により、長距離の依存関係がよりよく捉えられ、生成領域におけるテクスチャーや構造がより一貫性があり現実的になる。
• 複雑な形状のオブジェクトやウォーターマークの除去において、自然な見た目の結果を効果的に生成でき、画像編集タスクにおける実用的価値を確認した。