[論文レビュー] Autoregressive Image Generation using Residual Quantization

Doyup Lee, Chiheon Kim+3 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Vision and Imaging被引用数 8

ひとこと要約

本稿では、残留量子化を用いた2段階のフレームワーク、RQ-VAEおよびRQ-Transformerを提案する。256×256の高解像度画像生成において、固定サイズのコードブックを用いた粗くから細かくまでの残留量子化を適用することで、RQ-VAEは256×256の画像を8×8×4のコードマップに低減し、RQ-Transformerが計算コストを著しく低減した上で、先行する自己回帰モデルよりも高速に高精細な画像を生成できる。

ABSTRACT

For autoregressive (AR) modeling of high-resolution images, vector quantization (VQ) represents an image as a sequence of discrete codes. A short sequence length is important for an AR model to reduce its computational costs to consider long-range interactions of codes. However, we postulate that previous VQ cannot shorten the code sequence and generate high-fidelity images together in terms of the rate-distortion trade-off. In this study, we propose the two-stage framework, which consists of Residual-Quantized VAE (RQ-VAE) and RQ-Transformer, to effectively generate high-resolution images. Given a fixed codebook size, RQ-VAE can precisely approximate a feature map of an image and represent the image as a stacked map of discrete codes. Then, RQ-Transformer learns to predict the quantized feature vector at the next position by predicting the next stack of codes. Thanks to the precise approximation of RQ-VAE, we can represent a 256$ imes$256 image as 8$ imes$8 resolution of the feature map, and RQ-Transformer can efficiently reduce the computational costs. Consequently, our framework outperforms the existing AR models on various benchmarks of unconditional and conditional image generation. Our approach also has a significantly faster sampling speed than previous AR models to generate high-quality images.

研究の動機と目的

• 自己回帰的画像生成におけるレート・ディストーションのトレードオフを解消すること。特に、コード列の長さを短縮することは計算効率にとって不可欠であるが、従来のVQ手法では画像の忠実度を維持できない。
• 特徴マップの正確な近似により、離散的コード列の長さを最小限に抑えることで、計算コストを低減し、高解像度画像生成を実現すること。
• ソフトラベル付けと確率的サンプリング技術を用いて露出バイアスを解消することで、自己回帰モデルの訓練安定性と性能を向上させること。
• 既存の自己回帰的モデルと比較して、画像品質を維持または向上させつつ、より高速なサンプリング速度を達成すること。

提案手法

• RQ-VAEは、固定サイズのコードブックを用いた残留量子化を用い、粗くから細かくまでの段階的アプローチで特徴マップの近似を繰り返し改善し、画像をスタックされた離散的コードとして表現する。
• 4段階の残留量子化を適用することで、256×256の画像の空間的解像度を8×8に低減し、コードブックサイズを増加させることなく高精細な再構成を維持する。
• RQ-Transformerは、スタックされたコードを1つの系列として処理し、各位置で次のコードスタックを自己回帰的に予測する。これにより、短縮された系列長を活かした効率性が実現される。
• 露出バイアスの緩和と一般化性能の向上を目的として、RQ-Transformerの訓練中にソフトラベル付けと確率的サンプリングを導入する。
• 自己回帰的モデリングのため、3次元のコードマップをラスタースキャン順序で1次元の系列に変換する。
• 再構成忠実度はrFIDを用いて評価され、生成品質はImageNetやLSUNを含むベンチマークでFIDおよびインセプションスコアによって測定される。

実験結果

リサーチクエスチョン

• RQ1 固定サイズのコードブックを用いた残留量子化は、標準的なVQ-VAEと比較して、高解像度画像生成においてより優れた再構成品質と低解像度を達成できるか？
• RQ2 RQ-VAEによるコード系列長の短縮は、画像品質を損なわずに、より高速かつ効率的な自己回帰的モデリングを可能にするか？
• RQ3 ソフトラベル付けと確率的サンプリングは、露出バイアスを低減することでRQ-Transformerの性能をどの程度向上させるか？
• RQ4 本手法のフレームワークは、無条件および条件付き画像生成タスクにおいて、FID、インセプションスコア、およびサンプリング速度という観点で、先行する自己回帰的モデルと比較してどのように差をつけるか？

主な発見

• コードブックサイズK=16,384、8×8×4のコードマップを用いたRQ-VAEは、16×16のマップを用いたVQ-GANと比較して、rFID=10.2という著しく優れた再構成忠実度を達成した。空間解像度を4倍低減したにもかかわらず、これは優れた性能を示している。
• コードブックサイズKを固定した状態で、量子化の深さDを1から4に増加させると、rFIDは3.1ポイント改善（13.3から10.2に）し、コードブックサイズを拡大するのではなく、残留量子化の有効性を実証した。
• RQ-Transformerは、ImageNet 256×256の無条件画像生成において、SOTAクラスのFIDスコア10.2を達成し、先行する自己回帰的モデルを上回った。
• LSUN、FFHQ、CC-3Mのベンチマークにおいて、本フレームワークは、画像品質を維持または向上させながら、先行する自己回帰的モデルと比較して2.5倍の高速なサンプリング速度を達成した。
• 可視化結果から、RQ-VAEが粗くから細かくまでの再構成を実行していることが確認された。深さが進むにつれて、徐々に細かい画像のディテールが追加され、低いノルムのコード埋め込みが高深度で使用されている。
• コード使用分布の分析から、深さ間で著しい重複が確認され、共有コードブックの効率的かつ効果的な再利用が行われていることが示された。