[論文レビュー] Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE

Jialun Peng, Dong Liu+2 more|arXiv (Cornell University)|Mar 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 9

ひとこと要約

本稿では、階層的VQ-VAEを用いた2段階の画像補填手法を提案する。この手法は、離散的潜在コードの自己回帰的モデリングにより、多様で高品質な画像完成を生成する。まず、1つの入力から複数の異なる構造を生成し、次に構造的アテンションモジュールと2つの特徴損失を備えたテクスチャ生成器を用いて各構造を精緻化する。CelebA-HQ、Places2、ImageNetの各データセットで、最先端の多様性と品質を達成した。

ABSTRACT

Given an incomplete image without additional constraint, image inpainting natively allows for multiple solutions as long as they appear plausible. Recently, multiplesolution inpainting methods have been proposed and shown the potential of generating diverse results. However, these methods have difficulty in ensuring the quality of each solution, e.g. they produce distorted structure and/or blurry texture. We propose a two-stage model for diverse inpainting, where the first stage generates multiple coarse results each of which has a different structure, and the second stage refines each coarse result separately by augmenting texture. The proposed model is inspired by the hierarchical vector quantized variational auto-encoder (VQ-VAE), whose hierarchical architecture isentangles structural and textural information. In addition, the vector quantization in VQVAE enables autoregressive modeling of the discrete distribution over the structural information. Sampling from the distribution can easily generate diverse and high-quality structures, making up the first stage of our model. In the second stage, we propose a structural attention module inside the texture generation network, where the module utilizes the structural information to capture distant correlations. We further reuse the VQ-VAE to calculate two feature losses, which help improve structure coherence and texture realism, respectively. Experimental results on CelebA-HQ, Places2, and ImageNet datasets show that our method not only enhances the diversity of the inpainting solutions but also improves the visual quality of the generated multiple images. Code and models are available at: https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting.

研究の動機と目的

• 既存の複数解生成補填手法が構造歪みやぼやけたテクスチャにより低品質な結果を生じるという限界を是正すること。
• 潜在空間の暗黙的サンプリングに依存せず、明示的に多様な画像構造を生成すること。
• 階層的VQ-VAEから得られる分離された構造的・テクスチャ的特徴を活用することで、テクスチャの現実性と構造の整合性を向上させること。
• 構造的生成とターゲット特徴損失を用いることで、多様性を高めつつ高視覚的品質を維持すること。
• 構造的情報が多様で現実的な画像補填をガイドする有効性を示すこと。

提案手法

• 階層的VQ-VAEを用いて潜在空間内で構造的特徴とテクスチャ的特徴を分離し、画像コンテンツの離散的表現を可能にする。
• 1つの入力から、離散的潜在コードの自己回帰的モデリングにより、複数の多様な構造的特徴を生成する。
• テクスチャ生成器に構造的アテンションモジュールを適用し、構造的特徴全体に対するアテンション計算により空間的一致性を確保する。
• 2つの補助特徴損失を導入：形状の整合性を保つための構造的特徴損失（$\mathcal{L}_{sf}$）と、テクスチャの現実性を向上させるためのテクスチャ的特徴損失（$\mathcal{L}_{tf}$）。
• L1損失、 adversarial 損失、および2つの特徴損失を用いて訓練することで、忠実性と多様性の両方を最適化する。
• 2段階パイプラインを採用：まず多様な構造を生成し、次に各構造を完全で現実的な画像に精緻化する。

実験結果

リサーチクエスチョン

• RQ1 階層的VQ-VAEにおける離散的潜在コードの自己回帰的モデリングは、補填に適した多様で妥当な画像構造を生成できるか？
• RQ2 テクスチャ生成ネットワークにおいて構造的特徴をアテンションのコンテキストとして用いることで、構造とテクスチャの整合性が向上するか？
• RQ3 構造とテクスチャに特化した特徴損失は、標準的な知覚的損失やスタイル損失を超えて視覚的品質を向上させられるか？
• RQ4 既存の複数解生成補填手法と比較して、本手法の多様性と品質はどの程度優れているか？
• RQ5 階層的VQ-VAEは、補填の向上に寄与する構造的・テクスチャ的情報の分離をどの程度可能にするか？

主な発見

• 本手法はCelebA-HQでFréchet Inception Distance (FID) 9.670を達成し、ベースライン手法を上回り、優れた画像品質を示した。
• LPIPS指標を用いた多様性スコアは0.029であり、PIC や UCTGAN といった最先端手法と同等で、強力な構造的多様性を示した。
• アブレーションスタディの結果、$\mathcal{L}_{sf}$ と $\mathcal{L}_{tf}$ の両方の損失を用いることで、SSIM（0.8676）、IS（3.467）、FID（9.670）が最高値となり、両損失の有効性が確認された。
• 構造的アテンションモジュールはテクスチャの一貫性を顕著に向上させ、対称的な目や眉毛といった現実的な特徴の再現を可能にした。
• 知覚的損失やスタイル損失を本手法の特徴損失に置き換えることで、アーチファクトが減少し、構造とテクスチャの整合性が向上した。視覚的および定量的結果がこれを裏付けた。
• CelebA-HQ、Places2、ImageNetといった多様なデータセットにおいても高い性能を維持しており、汎用性の高さを確認した。