[논문 리뷰] Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning

Ting Chen, Ruixiang Zhang외 1명|arXiv (Cornell University)|2022. 08. 08.

Multimodal Machine Learning Applications인용 수 79

한 줄 요약

본 논문은 Bit Diffusion을 도입하여 이진 비트를 연속 확산 모델 내에서 아날로그 실수로 모델링하는 방법으로 이산 데이터를 생성하고, 샘플 품질을 높이기 위한 Self-Conditioning과 Asymmetric Time Intervals를 추가합니다. 이를 통해 이산 이미지 생성에서 최첨단 결과를 달성하고 이미지-캡션 성능에서 경쟁력을 보입니다.

ABSTRACT

We present Bit Diffusion: a simple and generic approach for generating discrete data with continuous state and continuous time diffusion models. The main idea behind our approach is to first represent the discrete data as binary bits, and then train a continuous diffusion model to model these bits as real numbers which we call analog bits. To generate samples, the model first generates the analog bits, which are then thresholded to obtain the bits that represent the discrete variables. We further propose two simple techniques, namely Self-Conditioning and Asymmetric Time Intervals, which lead to a significant improvement in sample quality. Despite its simplicity, the proposed approach can achieve strong performance in both discrete image generation and image captioning tasks. For discrete image generation, we significantly improve previous state-of-the-art on both CIFAR-10 (which has 3K discrete 8-bit tokens) and ImageNet-64x64 (which has 12K discrete 8-bit tokens), outperforming the best autoregressive model in both sample quality (measured by FID) and efficiency. For image captioning on MS-COCO dataset, our approach achieves competitive results compared to autoregressive models.

연구 동기 및 목표

• 자 autoregressive 모델의 이산 데이터 처리 한계(확장성 및 생성 속도) 극복 동기 부여.
• 연속 확산 모델을 이산 데이터에 아날로그 비트 방식으로 사용하는 간단하고 일반적인 방법 제안.
• Self-Conditioning과 Asymmetric Time Intervals를 통해 확산 기반 이산 데이터 생성을 개선.
• 이산 이미지 생성(Cifar-10, ImageNet 64×64)에서의 강력한 성능과 MS-COCO에서의 경쟁력 있는 이미지-캡션 결과 시연

제안 방법

• 이산 데이터를 이진 비트로 표현하고 이를 연속 확산 모델링을 위한 실수형 아날로그 비트에 매핑한다.
• 비트 표현에 대한 L2 손실로 아날로그 비트를 잡음 제거하도록 확산 모델을 학습한다.
• 샘플을 디코딩하기 위해 아날로그 비트를 임계값으로 이산 변수로 복구한다.
• 이전 생성된 x0 추정치에 대해 디노이저를 조건화하여 샘플 품질을 개선하는 Self-Conditioning을 도입한다.
• 샘플링 시 비등하지 않은 시간 간격(td 매개변수)를 사용하여 비대칭 시간 간격을 적용해 특히 적은 단계에서의 디노이징을 개선한다.
• U-Net 아키텍처와 이진 인코딩 방식(uint8, gray code, uint8 rand)으로 이산 픽셀을 처리하고, 캡션은 15 아날로그 비트를 토큰당 사용한 SentencePiece 토크나이저를 활용한다.

실험 결과

연구 질문

• RQ1 연산 상태 연속 확산 모델이 이산 변수를 아날로그 비트로 인코딩했을 때 이산 데이터를 안정적으로 생성할 수 있는가?
• RQ2 Self-Conditioning과 Asymmetric Time Intervals가 이미지와 텍스트 태스크 모두에서 Bit Diffusion의 샘플 품질을 개선하는가?
• RQ3 Bit Diffusion이 이산 이미지 생성 및 이미지 조건부 캡션화에서 자가회귀 모델에 대해 어떤 성능을 보이는가?
• RQ4 이산 데이터에 대한 어떤 인코딩 스킴(uint8, gray code, uint8 rand)이 성능과 복잡성 사이의 최적 트레이드오프를 제공하는가?

주요 결과

• Bit Diffusion은 아날로그 비트를 사용하고 100–1000 샘플링 단계에서 이산 CIFAR-10 생성에서 FID 최첨단 성능과 ImageNet 64×64에서 강력한 결과를 달성한다.
• CIFAR-10에서 uint8 인코딩을 사용한 Bit Diffusion은 FID 6.93(범주형 픽셀)으로 자가회귀 모델보다 우수하다.
• ImageNet 64×64의 경우 연속 픽셀 확산 모델이 여전히 최상이며, 이산 변형(uint8, gray code, uint8 rand)도 경쟁력 있는 FID를 보이며 예를 들어 4.84(uint8) 대 3.43(연속 픽셀)과 같이 클래스 조건 설정에서 차이가 있다.
• MS-COCO의 이미지 캡션에서 무작위로 초기화된 디코더를 사용하는 Bit Diffusion은 샘플링 단계가 증가함에 따라(10–40 단계) 자가회귀 기준선과 비교해 BLEU/ROUGE/CIDEr 점수에서 경쟁력을 보인다.
• Self-Conditioning은 이산 및 연속 확산 태스크 모두에서 일관되게 성능을 향상시키며, 비대칭 시간 간격은 특히 더 적은 샘플링 단계에서 이익을 준다.
• 생성된 아날로그 비트가 이중모드 분포로 수렴하여 이산 변수를 회복하기 위한 임계값 설정이 견고하다.