[論文レビュー] High-Quality Pluralistic Image Completion via Code Shared VQGAN

Chuanxia Zheng, Guoxian Song+4 more|arXiv (Cornell University)|Apr 5, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、空間的位置にわたるコード共有と離散的潜在コード空間におけるトランスフォーマーの利用により、高速で非自己回帰的生成を実現する、高品質な多様性のある画像補完のための新規フレームワーク、Code Shared VQGANを提案する。この手法により、自己回帰的iGPTベースの手法と比較して100倍以上の高速な推論が達成されるとともに、ベンチマークデータセットにおいて、画像品質と多様性の両面で最先端の性能を顕著に上回る。

ABSTRACT

PICNet pioneered the generation of multiple and diverse results for image completion task, but it required a careful balance between $\mathcal{KL}$ loss (diversity) and reconstruction loss (quality), resulting in a limited diversity and quality . Separately, iGPT-based architecture has been employed to infer distributions in a discrete space derived from a pixel-level pre-clustered palette, which however cannot generate high-quality results directly. In this work, we present a novel framework for pluralistic image completion that can achieve both high quality and diversity at much faster inference speed. The core of our design lies in a simple yet effective code sharing mechanism that leads to a very compact yet expressive image representation in a discrete latent domain. The compactness and the richness of the representation further facilitate the subsequent deployment of a transformer to effectively learn how to composite and complete a masked image at the discrete code domain. Based on the global context well-captured by the transformer and the available visual regions, we are able to sample all tokens simultaneously, which is completely different from the prevailing autoregressive approach of iGPT-based works, and leads to more than 100$ imes$ faster inference speed. Experiments show that our framework is able to learn semantically-rich discrete codes efficiently and robustly, resulting in much better image reconstruction quality. Our diverse image completion framework significantly outperforms the state-of-the-art both quantitatively and qualitatively on multiple benchmark datasets.

研究の動機と目的

• 多様性のある画像補完における、画像品質と多様性のトレードオフを解消すること。
• 画像生成タスクにおいて、iGPTのような自己回帰的モデルの遅い推論速度を克服すること。
• コンパクトな離散的潜在表現を用いて、同時に多数の多様な画像補完を効率的にサンプリングすること。
• 生成された画像補完の再構成忠実度と意味的豊かさを向上させること。
• 定量的指標と定性的な多様性の両面で、最先端の性能を達成すること。

提案手法

• 空間的位置にわたるコード共有をVQGANに導入し、コンパクトでありながら表現力のある離散的潜在表現を生成する。
• 空間的位置にわたる共有コードブックから導出された離散的コードブック空間に画像を表現する。
• グローバルな文脈をモデル化し、補完をガイドするために、離散的コードトークン上で直接動作するトランスフォーマー・モデルを採用する。
• すべてのコードトークンを同時に並列にサンプリングする非自己回帰的戦略を実装し、推論を著しく高速化する。
• 意味的に豊かなコードを活用することで、再構成品質と多様性を向上させる。
• 共有コードブックとトランスフォーマーに基づく補完ネットワークを用いて、再構成と多様性の目的関数を統合最適化する。

実験結果

リサーチクエスチョン

• RQ1 VQGANベースのフレームワークにおいて、共有コードブック表現が、画像補完における品質と多様性の両面を向上させられるか？
• RQ2 離散的コード空間における非自己回帰的サンプリングは、自己回帰的生成と比較して、推論速度と品質の面でどのように差がつくか？
• RQ3 コンパクトな離散表現が、画像補完においてどれほど意味的豊かさを保持できるか？
• RQ4 提案手法が、定量的指標と定性的な多様性の両面で、既存の最先端手法を上回れるか？
• RQ5 コード共有機構は、多様で複雑な画像補完シナリオに対しても、どれほど頑健か？

主な発見

• 提案フレームワークは、自己回帰的iGPTベースの手法と比較して、100倍以上の高速な推論速度を達成した。
• FIDおよびFVD指標による評価において、PICNetと比較して再構成品質と多様性の両面で顕著に優れた性能を示した。
• 共有コードブックの導入により、よりコンパクトで表現力のある潜在表現が実現され、生成効率が向上した。
• 非自己回帰的サンプリング戦略は、高い画像品質を維持しながら、並列的に多様な補完を生成可能にした。
• 複数のベンチマークデータセットにおける実験により、定量的指標と定性的な多様性の両面で優れた性能が確認された。
• フレームワークは意味的に豊かな離散的コードを学習し、高忠実度かつ多様な画像補完を可能にした。