[論文レビュー] Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning

Ting Chen, Ruixiang Zhang+1 more|arXiv (Cornell University)|Aug 8, 2022

Multimodal Machine Learning Applications被引用数 79

ひとこと要約

本論文は Bit Diffusion を提案します。連続拡散モデル内で二進ビットをアナログ実数としてモデリングし、離散データを生成する方法、自己条件付け(Self-Conditioning)と非対称時間間隔を追加してサンプル品質を向上させる；離散画像生成で最先端の結果を達成し、画像キャプション生成でも競争力の性能を示します。

ABSTRACT

We present Bit Diffusion: a simple and generic approach for generating discrete data with continuous state and continuous time diffusion models. The main idea behind our approach is to first represent the discrete data as binary bits, and then train a continuous diffusion model to model these bits as real numbers which we call analog bits. To generate samples, the model first generates the analog bits, which are then thresholded to obtain the bits that represent the discrete variables. We further propose two simple techniques, namely Self-Conditioning and Asymmetric Time Intervals, which lead to a significant improvement in sample quality. Despite its simplicity, the proposed approach can achieve strong performance in both discrete image generation and image captioning tasks. For discrete image generation, we significantly improve previous state-of-the-art on both CIFAR-10 (which has 3K discrete 8-bit tokens) and ImageNet-64x64 (which has 12K discrete 8-bit tokens), outperforming the best autoregressive model in both sample quality (measured by FID) and efficiency. For image captioning on MS-COCO dataset, our approach achieves competitive results compared to autoregressive models.

研究の動機と目的

• 離散データに対する自己回帰モデルの限界（スケーラビリティと生成速度）を乗り越える動機付け。
• アナログビットを介して連続拡散モデルを離散データに適用する、シンプルで汎用的な方法を提案。
• 自己条件付けと非対称時間間隔を通じて拡散ベースの離散データ生成を改善。
• 離散画像生成（Cifar-10、ImageNet 64×64）での強力な性能と、MS-COCOにおける競争力のある画像キャプショニング結果を示す。

提案手法

• 離散データを二進ビットとして表現し、それを実数値のアナログビットへ写像して連続拡散モデリングを行う。
• ビット表現上のL2損失を用いてアナログビットをデノイズする拡散モデルを訓練する。
• アナログビットをしきい値処理して離散変数を回復することでサンプルをデコードする。
• サンプル品質を改善するため、復元器を以前に生成された x0 推定値で条件付けする自己条件付けを導入。
• 非等しい時間ステップ(tdパラメータ)を用いる非対称時間間隔をサンプリングに適用してデノイズを改善し、特にステップ数が少ない場合に効果を発揮。
• 離散ピクセルにはU-Netアーキテクチャとバイナリエンコード方式（uint8、グレコード、uint8 rand）を使用し、キャプションには15アナログビット/トークンのSentencePieceトークナイズを用いる。

実験結果

リサーチクエスチョン

• RQ1 ディスクリート変数をアナログビットとしてエンコードした場合、連続状態の拡散モデルは信頼性高く離散データを生成できるか？
• RQ2 自己条件付けと非対称時間間隔は、画像とテキストの両タスクにおいて Bit Diffusion のサンプル品質を改善するか？
• RQ3 離散画像生成および画像条件付きキャプショニングにおける Bit Diffusion の性能は自己回帰モデルと比べてどうか？
• RQ4 離散データのエンコード方式（uint8、gray code、uint8 rand）のうち、性能と複雑さのトレードオフで最良なのはどれか？

主な発見

• アナログビットを用い、100–1000サンプリングステップで離散CIFAR-10生成において最先端のFIDを達成し、ImageNet 64×64でも強力な結果。
• CIFAR-10 では uint8 エンコードの Bit Diffusion が FID 6.93（カテゴリー化ピクセル）に達し、自己回帰モデルを上回る。
• ImageNet 64×64 では連続ピクセルの拡散モデルが依然として最良で、離散版（uint8、gray code、uint8 rand）は競争力のあるFIDを示し、例としてクラス条件付き設定で 4.84 (uint8) 対 3.43（連続ピクセル）。
• MS-COCO の画像キャプショニングでは、ランダムに初期化したデコーダを用いる Bit Diffusion が自己回帰ベースラインと競争力のある BLEU/ROUGE/CIDEr スコアを達成し、特にサンプリングステップが増える（10–40 ステップ）につれて顕著。
• 自己条件付けは離散・連続双方の拡散タスクで一貫して性能を向上させ、非対称時間間隔は特に少ないサンプリングステップ時に利得をもたらす。
• 生成されたアナログビットは二峰性分布に集中し、離散変数を回復する堅牢なしきい値処理を可能にする。