[논문 리뷰] Autoregressive Image Generation without Vector Quantization

Tianhong Li, Yonglong Tian외 3명|arXiv (Cornell University)|2024. 06. 17.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 자동회귀적 이미지 생성을 위한 새로운 디퓨전 손실을 제안하며, 벡터 양자화를 제거하고 연속적인 값의 디퓨전 프로세스를 통해 각 토큰의 확률 분포를 모델링함으로써 이를 실현한다. 자동회귀적으로 예측된 벡터에 조건이 되는 작은 노이즈 제거 네트워크를 훈련시켜, ImageNet 256×256에서 1초당 0.3초 미만의 추론 속도로 최신 기준 FID 점수(1.55)를 달성함으로써, 이는 자동회귀 모델이 이산 토큰화 없이도 연속 공간에 효과적으로 적용될 수 있음을 보여준다.

ABSTRACT

Conventional wisdom holds that autoregressive models for image generation are typically accompanied by vector-quantized tokens. We observe that while a discrete-valued space can facilitate representing a categorical distribution, it is not a necessity for autoregressive modeling. In this work, we propose to model the per-token probability distribution using a diffusion procedure, which allows us to apply autoregressive models in a continuous-valued space. Rather than using categorical cross-entropy loss, we define a Diffusion Loss function to model the per-token probability. This approach eliminates the need for discrete-valued tokenizers. We evaluate its effectiveness across a wide range of cases, including standard autoregressive models and generalized masked autoregressive (MAR) variants. By removing vector quantization, our image generator achieves strong results while enjoying the speed advantage of sequence modeling. We hope this work will motivate the use of autoregressive generation in other continuous-valued domains and applications. Code is available at: https://github.com/LTH14/mar.

연구 동기 및 목표

• 자동회귀 모델이 이미지 생성을 위해 이산적이고, 벡터 양자화된 표현이 반드시 필요하다는 기존의 믿음을 도전하기 위해.
• 자동회귀 모델링의 이점을 유지하면서도, 이산적 표현 대신 연속적인 값의 대안을 개발하기 위해.
• 표준 자동회귀 모델과 마스크된 자동회귀 모델을 일반화된 프레임워크에 통합하여 연속적인 값의 토큰과 호환 가능하게 하기 위해.
• 범주형 교차 엔트로피 대신 디퓨전 기반 확률 모델링 방법을 도입하여 이미지 생성 품질과 속도를 향상시키기 위해.
• 다양한 아키텍처와 토큰화 전략에 걸쳐 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 기존의 범주형 교차 엔트로피 손실을 대체하여, 각 토큰의 확률 분포를 노이즈 제거 디퓨전 프로세스로 모델링하는 디퓨전 손실을 도입한다.
• 자동회귀적으로 예측된 각 토큰 벡터 z에 대해, 실제 이미지 토큰 x의 분포 p(x|z)를 모델링하는 작은 노이즈 제거 네트워크(예: MLP)를 훈련시킨다.
• 노이즈 제거 네트워크는 백프로파게이션을 통해 자동회귀 모델과 함께 공동으로 훈련되어, 연속적인 값의 토큰 예측을 위한 엔드 투 엔드 최적화를 가능하게 한다.
• 이 방법은 표준 자동회귀(AR) 및 마스크된 자동회귀(MAR) 모델 모두와 호환되며, 유연한 생성 순서와 단일 스텝당 다중 토큰 예측을 가능하게 한다.
• 이 방법은 픽셀 기반 및 연속적인 값의 토큰화 모두를 지원하며, 분류기 없는 가이던스(CFG) 유무에 관계없이 적용 가능하다.
• 추론 과정은 예측된 z 벡터에 조건이 되는 역방향 디퓨전 프로세스에서 샘플링하는 것으로 이루어지며, 고해상도 이미지 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 디퓨전을 통해 각 토큰의 분포를 모델링함으로써, 벡터 양자화 없이도 자동회귀적 이미지 생성을 효과적으로 수행할 수 있는가?
• RQ2 범주형 교차 엔트로피를 디퓨전 기반 손실로 대체함으로써, 연속적인 값의 공간에서 이미지 생성의 품질과 속도가 향상되는가?
• RQ3 제안된 디퓨전 손실이 표준 자동회귀 아키텍처뿐 아니라 마스크된 자동회귀 변형에도 일반화될 수 있는가?
• RQ4 FID, IS 및 추론 속도 측면에서 제안된 방법의 성능이 최신 기준 모델과 비교해 어떻게 되는가?
• RQ5 랜덤 순서 마스킹 및 이중 방향 어텐션과 같은 아키텍처 선택이 연속적인 값의 자동회귀 생성의 품질과 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 디퓨전 손실은 ImageNet 256×256에서 프레셰 인ception 거리(FID) 1.55를 달성하여, 이전의 토큰 기반 방법을 뛰어넘고 최신 잠재 디퓨전 모델의 성능에 가까이 다가섰다.
• 마스크된 자동회귀 모델에 디퓨전 손실을 적용한 결과, 1장당 0.3초 미만의 속도로 이미지 생성이 가능하여 높은 추론 속도를 입증하였다.
• 디퓨전 손실을 적용한 MAR 버전은 CFG 없이 FID 2.31, CFG 있음으로서 FID 1.78를 기록하여, 이전의 시스템인 MaskGIT 및 MAGE를 크게 능가하였다.
• MAR 프레임워크에서 인과적 어텐션을 이중 방향 어텐션으로 대체함으로써 FID는 13.07에서 3.43으로 크게 향상되었으며, 이는 맥락 모델링의 중요성을 강조한다.
• 이 방법은 강력한 스케일링 행동을 보이며, 다양한 모델 크기에서 성능 향상이 관찰되어 더 큰 아키텍처에서의 추가 성능 향상 가능성을 시사한다.
• 복잡하고 기울기 근사에 민감한 벡터 양자화 토크나이저가 필요 없어지며, 이는 훈련을 단순화하고 재구성 품질을 향상시킨다.