[논문 리뷰] Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer

Doyup Lee, Chiheon Kim외 3명|arXiv (Cornell University)|2022. 06. 09.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 자동회귀적 이미지 생성에서 전반적인 맥락을 더 잘 모델링하기 위해 맥락 기반 RQ-Transformer를 사용하는 새로운 이미지 생성 프레임워크인 Draft-and-Revise를 제안한다. 먼저 다양한 저품질 초안을 생성한 후, 전반적인 구조를 유지하면서 반복적으로 개선하는 방식으로, ImageNet 및 CC-3M 벤치마크에서 기존 모델, 특히 거부 샘플링을 사용한 3.8B 파라미터 RQ-Transformer를 능가하는 최신 기술 수준의 FID 점수를 달성한다.

ABSTRACT

Although autoregressive models have achieved promising results on image generation, their unidirectional generation process prevents the resultant images from fully reflecting global contexts. To address the issue, we propose an effective image generation framework of Draft-and-Revise with Contextual RQ-transformer to consider global contexts during the generation process. As a generalized VQ-VAE, RQ-VAE first represents a high-resolution image as a sequence of discrete code stacks. After code stacks in the sequence are randomly masked, Contextual RQ-Transformer is trained to infill the masked code stacks based on the unmasked contexts of the image. Then, Contextual RQ-Transformer uses our two-phase decoding, Draft-and-Revise, and generates an image, while exploiting the global contexts of the image during the generation process. Specifically. in the draft phase, our model first focuses on generating diverse images despite rather low quality. Then, in the revise phase, the model iteratively improves the quality of images, while preserving the global contexts of generated images. In experiments, our method achieves state-of-the-art results on conditional image generation. We also validate that the Draft-and-Revise decoding can achieve high performance by effectively controlling the quality-diversity trade-off in image generation.

연구 동기 및 목표

• 순차적 생성 중에 전반적인 맥락을 활용하지 못하는 자동회귀적 이미지 생성 모델의 한계를 해결하기 위해.
• 생성 과정에서 이중 방향 맥락을 명시적으로 모델링하여 이미지 생성 품질과 다양성을 향상시키기 위해.
• 품질과 다양성의 균형을 이중 단계인 초안(다양한, 저품질 생성)과 개선(맥락 유지하면서 품질 향상)으로 제어하는 디코딩 전략을 개발하기 위해.
• ImageNet 및 CC-3M을 포함한 조건부 이미지 생성 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 고해상도 이미지를 효율적으로 모델링하기 위해 잔차 양자화된 VAE(RQ-VAE)를 사용해 이산 코드 스택의 시퀀스로 표현하기.
• 전반적인 맥락을 기반으로 마스크된 코드 스택을 예측하기 위해 이중 방향 자기주의를 갖춘 맥락 기반 RQ-Transformer를 훈련시키며, BERT 사전학습과 유사한 방식으로.
• 이중 단계 디코딩 전략인 Draft-and-Revise를 제안하며, 이는 초안 단계에서 다양한 저해상도 이미지를 생성하고, 개선 단계에서 전반적인 구조를 유지하면서 반복적으로 품질을 향상시키는 방식이다.
• 온도 스케일링은 오직 개선 단계에서만 사용하고, 분류기 자유 가이던스를 선택적으로 적용하여 품질-다양성 트레이드오프를 제어한다.
• 전반적인 일관성을 유지하면서 병렬로 코드 스택을 업데이트함으로써 개선 단계에서 반복적 개선을 수행한다.
• 효율성과 성능 비교를 위해 거부 샘플링과 추론 속도 평가를 적용하여 기존 모델과 대비한다.

실험 결과

연구 질문

• RQ1 이중 방향 트랜스포머 기반 모델이 마스크된 코드 스택을 메꾸는 방식으로 이미지 생성에서 전반적인 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 기본 자동회귀 생성 방식과 비교해 Draft-and-Revise 디코딩 전략이 이미지 품질과 다양성을 향상시키는가?
• RQ3 이중 단계 디코딩 과정이 이미지 생성에서 품질-다양성 트레이드오프를 효과적으로 제어할 수 있는가?
• RQ4 RQ-Transformer나 VQGAN과 같은 최신 자동회귀 모델과 비교해 제안된 방법의 FID 점수와 추론 속도는 어떠한가?

주요 결과

• 제안된 방법은 ImageNet 벤치마크에서 최신 기술 수준의 FID 3.45를 달성했으며, 거부 샘플링을 사용한 3.8B 파라미터 RQ-Transformer를 능가한다.
• T_{\text{draft}} = 64 일 때, RQ-Transformer보다 2.5배 느리지만 여전히 FID에서 승리한다.
• 분류기 자유 가이던스를 오직 개선 단계에서만 사용할 경우 최적의 균형을 이룩하며, FID는 3.45로 최저를 기록했고 정밀도는 0.82, 재현율은 0.52로 수용 가능한 수준을 확보했다.
• T_{\text{draft}} = 32 일 때 초안 단계는 FID 3.73과 샘플링 속도 0.06 s/sample을 기록하여 품질과 효율성 사이의 유리한 트레이드오프를 보였다.
• 절단 실험 결과, T_{\text{revise}}를 2를 초과해 늘일수록 저품질의 초안 코드 스택에서 오는 오류 전파로 인해 FID가 약간 악화됨을 확인했다.
• T_{\text{draft}} = 8 인 모델은 VQGAN(15.78 FID, 0.16 s/sample)과 RQ-Transformer(8.71 FID, 0.04 s/sample)보다 최신 기술 수준의 FID 5.41을 기록하고 더 빠른 추론 속도(0.03 s/sample)를 확보했다.