[論文レビュー] Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer

Doyup Lee, Chiheon Kim+3 more|arXiv (Cornell University)|Jun 9, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、自己回帰的画像生成におけるグローバルな文脈モデリングを向上させるために、文脈的RQ-Transformerを用いた新しい画像生成フレームワーク、Draft-and-Reviseを提案する。まず多様な低品質なドラフトを生成し、その後でグローバル構造を保持しながら段階的に改善することで、ImageNetおよびCC-3Mベンチマークで最先端のFIDスコアを達成し、拒否採択サンプリングを用いた3.8BパラメータのRQ-Transformerを上回る性能を発揮する。

ABSTRACT

Although autoregressive models have achieved promising results on image generation, their unidirectional generation process prevents the resultant images from fully reflecting global contexts. To address the issue, we propose an effective image generation framework of Draft-and-Revise with Contextual RQ-transformer to consider global contexts during the generation process. As a generalized VQ-VAE, RQ-VAE first represents a high-resolution image as a sequence of discrete code stacks. After code stacks in the sequence are randomly masked, Contextual RQ-Transformer is trained to infill the masked code stacks based on the unmasked contexts of the image. Then, Contextual RQ-Transformer uses our two-phase decoding, Draft-and-Revise, and generates an image, while exploiting the global contexts of the image during the generation process. Specifically. in the draft phase, our model first focuses on generating diverse images despite rather low quality. Then, in the revise phase, the model iteratively improves the quality of images, while preserving the global contexts of generated images. In experiments, our method achieves state-of-the-art results on conditional image generation. We also validate that the Draft-and-Revise decoding can achieve high performance by effectively controlling the quality-diversity trade-off in image generation.

研究の動機と目的

• 自己回帰的画像生成モデルが逐次的生成中にグローバルな文脈を十分に活用できないという限界に対処すること。
• 生成プロセス中に双方向的文脈を明示的にモデリングすることで、画像生成の品質と多様性を向上させること。
• 二段階の段階（ドラフト：多様で低品質な生成、リビジョン：品質の向上と文脈の保持）を経て、品質と多様性のバランスを取るデコード戦略を開発すること。
• ImageNetおよびCC-3Mを含む条件付き画像生成ベンチマークで最先端の性能を達成すること。

提案手法

• 高解像度画像をRQ-VAE（残差量子化VAE）を用いて離散的コードスタックの系列として表現し、効率的なモデリングを実現すること。
• BERTの事前学習に類似した、マスクされたコードスタックを未マスクのグローバルな文脈に基づいて予測する双方向自己注意機構を備えた文脈的RQ-Transformerを訓練すること。
• 二段階デコード戦略であるDraft-and-Reviseを提案する。ドラフト段階では多様で低精細度の画像を生成し、リビジョン段階ではグローバル構造を保持しながら段階的に品質を向上させる。
• 温度スケーリングはリビジョン段階でのみ使用し、分類器フリーのガイダンスを部分的に適用することで、品質と多様性のトレードオフを制御すること。
• リビジョン段階で、グローバルな整合性を維持しながら、コードスタックを並列に更新することで段階的改善を実現すること。
• 効率性と性能の比較のため、拒否採択サンプリングとサンプリング速度評価を実施すること。

実験結果

リサーチクエスチョン

• RQ1 マスクされたコードスタックの穴埋めにより、双方向的トランスフォーマーに基づくモデルが画像生成におけるグローバルな文脈を効果的にモデリングできるか？
• RQ2 標準的な自己回帰的生成と比較して、Draft-and-Reviseデコード戦略は画像の品質と多様性を向上させるか？
• RQ3 二段階デコードプロセスは、画像生成における品質と多様性のトレードオフを効果的に制御できるか？
• RQ4 RQ-Transformer や VQGAN といった最先端の自己回帰的モデルと比較して、提案手法のFIDスコアと推論速度はどの程度か？

主な発見

• 提案手法はImageNetベンチマークで最先端のFID 3.45を達成し、拒否採択サンプリングを用いた3.8BパラメータのRQ-Transformerを上回った。
• T_{\text{draft}} = 64 の場合、RQ-Transformerより2.5倍遅延が生じるが、依然としてFIDスコアで優位であった。
• 分類器フリーのガイダンスをリビジョン段階でのみ適用すると最良のバランスが得られ、FIDは最低の3.45（精度0.82、再現率0.52）を達成した。
• T_{\text{draft}} = 32 のドラフト段階では、FID 3.73と高いサンプリング速度（0.06 s/sample）を達成し、品質と効率性の良好なトレードオフを実現した。
• アブレーションスタディの結果、T_{\text{revise}} を2より大きくすると、低品質なドラフトコードスタックからの誤差伝搬によりFIDがわずかに劣化した。
• T_{\text{draft}} = 8 のモデルは、VQGAN（15.78 FID、0.16 s/sample）およびRQ-Transformer（8.71 FID、0.04 s/sample）を上回る最先端のFID 5.41と高速な推論（0.03 s/sample）を達成した。