[論文レビュー] Learning to Incorporate Structure Knowledge for Image Inpainting

Jie Yang, Zhiquan Qi+1 more|arXiv (Cornell University)|Feb 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 4

ひとこと要約

本稿では、腐敗した画像とその構造的要素（エッジや勾配）を同時に再構築する生成器を共同で学習するマルチタスク学習フレームワークを提案する。学習された構造特徴を明示的に埋め込み、アテンション機構を用いて結果を精緻化する。本手法はCelebAおよびPlaces2データセットで最先端の性能を達成し、それぞれFIDスコアが1.227および4.883を記録した。構造的知識を効果的に活用することで、定性的・定量的に優れた結果を示している。

ABSTRACT

This paper develops a multi-task learning framework that attempts to incorporate the image structure knowledge to assist image inpainting, which is not well explored in previous works. The primary idea is to train a shared generator to simultaneously complete the corrupted image and corresponding structures --- edge and gradient, thus implicitly encouraging the generator to exploit relevant structure knowledge while inpainting. In the meantime, we also introduce a structure embedding scheme to explicitly embed the learned structure features into the inpainting process, thus to provide possible preconditions for image completion. Specifically, a novel pyramid structure loss is proposed to supervise structure learning and embedding. Moreover, an attention mechanism is developed to further exploit the recurrent structures and patterns in the image to refine the generated structures and contents. Through multi-task learning, structure embedding besides with attention, our framework takes advantage of the structure knowledge and outperforms several state-of-the-art methods on benchmark datasets quantitatively and qualitatively.

研究の動機と目的

• エッジや勾配などのハイレベルな構造的知識を効果的に統合できない、既存の深層学習ベースの画像補填手法の限界を是正すること。
• 共有生成器を画像再構築と構造予測の両方で同時に学習させることで、構造的知識を暗黙的かつ効果的に活用し、画像補填の品質を向上させること。
• 学習された構造特徴を明示的に補填プロセスに埋め込み、コンテンツ生成をガイドする前提条件とする。
• 再発する構造的パターンを活用する新しいアテンション機構を用いて、生成された構造とコンテンツを精緻化すること。
• 複数スケールで構造学習と埋め込みを効果的に監視するためのピラミッド構造損失を提案し、構造的忠実度を向上させること。

提案手法

• 腐敗した入力を用いて、同時に完成画像と対応するエッジマップ・勾配マップを予測する共有生成器をマルチタスク設定で学習する。
• 複数スケールで構造的学習を監視するための新しいピラミッド構造損失を導入し、構造的一致性と詳細の向上を図る。
• 生成器のデコーダパスウェイに学習された構造特徴を連結または統合することで、構造埋め込みを実装し、明示的な事前知識として機能させる。
• アテンション機構を用いて画像内の再発する構造的パターンを特定・精緻化し、生成コンテンツの整合性と現実性を向上させる。
• マルチタスク学習、明示的構造埋め込み、アテンション機構を統合し、構造的正確性と視覚的妥当性の両方を共同最適化する。
• 敵対的損失と知覚的損失を用いて、エンドツーエンドでモデルを学習させ、高品質で現実的な出力を保証する。

実験結果

リサーチクエスチョン

• RQ1 画像再構築と構造予測の共同学習は、画像補填結果の品質と妥当性を向上させるか？
• RQ2 明示的な構造埋め込みは、生成画像のコンテンツ性能と現実性にどのような影響を与えるか？
• RQ3 再発するパターンを活用するアテンション機構は、構造的一致性と視覚的品質をどの程度向上させるか？
• RQ4 提案されたピラミッド構造損失は、標準的なL1またはL2損失と比較して、より優れた構造的監視を可能にするか？
• RQ5 構造を最初に生成し、その後に画像を生成する二段階手法と比較して、本フレームワークは一般化性と頑健性の面で優れているか？

主な発見

• 不規則なマスクを用いたCelebAデータセットでは、本手法がFIDスコア1.227を達成し、次に優れたベースライン（EG）の2.443を大きく上回った。
• 不規則なマスクを用いたPlaces2データセットでは、FIDが4.883にまで低下したのに対し、EGベースラインは13.74であった。これは、画像品質の顕著な向上を示している。
• アブレーションスタディの結果、マルチタスク学習、構造埋め込み、アテンション機構の追加により、FIDは15.25（ベースライン）から11.98まで順次改善され、VIFおよびPSNRの向上も確認された。
• 定性的な結果では、顔の輪郭がより明瞭で、特に大規模な欠損領域を有する困難な領域でもより現実的なテクスチャが再現されている。
• ピラミッド構造損失は、多スケールの構造的詳細を効果的に捉えており、より正確で一貫性のあるエッジおよび勾配予測に寄与している。
• 不規則なマスクに対して一般化性能が高く、CA や GL といった、このようなマスクで特に訓練されていない手法を上回っている。