[논문 리뷰] UFC-BERT: Unifying Multi-Modal Controls for Conditional Image Synthesis

Zhu Zhang, Jianxin Ma외 7명|arXiv (Cornell University)|2021. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 65인용 수 23

한 줄 요약

UFC-BERT는 텍스트, 참조 이미지, 이미지 블록과 같은 다양한 다중모달 제어를 모두 이산 토큰 시퀀스로 표현하여 트랜스포머에 의해 통합 처리하는 비자기적, 이단계적 프레임워크를 제안한다. 이는 고해상도이고 일관성 있는 이미지 합성을 가능하게 하며 복잡한 제어 지시에 더 잘 따르며, 속도가 향상되어 M2C-Fashion 및 다중모달 CelebA-HQ에서 검증되었다.

ABSTRACT

Conditional image synthesis aims to create an image according to some multi-modal guidance in the forms of textual descriptions, reference images, and image blocks to preserve, as well as their combinations. In this paper, instead of investigating these control signals separately, we propose a new two-stage architecture, UFC-BERT, to unify any number of multi-modal controls. In UFC-BERT, both the diverse control signals and the synthesized image are uniformly represented as a sequence of discrete tokens to be processed by Transformer. Different from existing two-stage autoregressive approaches such as DALL-E and VQGAN, UFC-BERT adopts non-autoregressive generation (NAR) at the second stage to enhance the holistic consistency of the synthesized image, to support preserving specified image blocks, and to improve the synthesis speed. Further, we design a progressive algorithm that iteratively improves the non-autoregressively generated image, with the help of two estimators developed for evaluating the compliance with the controls and evaluating the fidelity of the synthesized image, respectively. Extensive experiments on a newly collected large-scale clothing dataset M2C-Fashion and a facial dataset Multi-Modal CelebA-HQ verify that UFC-BERT can synthesize high-fidelity images that comply with flexible multi-modal controls.

연구 동기 및 목표

• 텍스트, 참조 이미지, 이미지 블록과 같은 다양한 다중모달 제어를 하나의 조건부 이미지 합성 프레임워크로 통합하는 것.
• 자기적 생성 방식의 속도, 전체적인 이미지 일관성 및 블록 보존 측면에서의 한계를 해결하는 것.
• 고품질의 이미지를 유지하면서 더 빠른 추론을 가능하게 하는 비자기적 생성 전략을 개발하는 것.
• 제어 준수 및 이미지 해상도를 위한 전용 추정기들을 갖춘 점진적 정밀화 메커니즘을 도입하는 것.
• M2C-Fashion 및 다중모달 CelebA-HQ를 포함한 대규모이고 다양한 데이터셋에서 프레임워크를 검증하는 것.

제안 방법

• 모든 입력 제어(텍스트, 참조 이미지, 이미지 블록)와 출력 이미지를 이산 토큰 시퀀스로 표현하여 트랜스포머 인코더를 통한 통합 처리를 수행한다.
• 이중단계 아키텍처를 활용한다: 첫 번째 단계에서는 조건부 VQ-VAE가 제어를 인코딩하고 잠재 코드를 생성하고, 두 번째 단계에서는 비자기적 트랜스포머가 직접 이미지 토큰을 생성한다.
• 두 개의 추정기들을 사용하는 점진적 정밀화 알고리즘을 도입하여 비자기적으로 생성된 이미지를 반복적으로 향상시킨다.
• 입력 제어(텍스트, 참조 이미지, 블록)와의 일치도를 측정하기 위해 제어 준수 추정기를 사용하고, 인지적 품질을 평가하기 위해 해상도 추정기를 사용한다.
• 학습된 사전 확률과 반복적 정밀화를 활용하여 자기적 생성 없이도 이미지 품질을 향상시킨다.
• 제어와 이미지 생성 모두에 이산 토큰 공간을 사용하여 엔드 투 엔드 학습과 통합 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 텍스트, 참조 이미지, 이미지 블록과 같은 다양한 다중모달 제어를 조건부 이미지 합성에서 효과적으로 처리할 수 있는가?
• RQ2 두 번째 단계에서의 비자기적 생성은 자기적 기반 모델 대비 이미지 일관성과 합성 속도 측면에서 향상되는가?
• RQ3 전용 추정기를 갖춘 반복적 정밀화는 복잡한 제어 신호를 유지하면서도 고해상도 이미지 생성을 달성할 수 있는가?
• RQ4 복잡한 제어 조합을 포함한 다양한 대규모 데이터셋에서 이 프레임워크는 얼마나 잘 일반화되는가?
• RQ5 기존의 이단계 자기적 모델 대비 제안된 방법이 해상도, 속도 및 제어 준수 측면에서 얼마나 뛰어나게 성능을 내는가?

주요 결과

• UFC-BERT는 복잡한 이미지 블록 보존까지 포함하여 다중모달 제어에 강력한 준수를 보이며 고해상도 이미지 합성을 달성한다.
• 비자기적 생성 단계는 품질을 유지하면서도 자기적 대안 대비 추론 속도를 크게 향상시킨다.
• 전용 추정기를 사용한 점진적 정밀화는 반복 과정을 통해 이미지 품질과 제어 일치도를 효과적으로 향상시킨다.
• M2C-Fashion 및 다중모달 CelebA-HQ에서 UFC-BERT는 기존의 이단계 자기적 모델보다 해상도 및 일관성 메트릭 측면에서 뛰어난 성능을 보였다.
• 텍스트, 참조 이미지, 이미지 블록을 포함한 다양한 제어 조합에 대해 프레임워크는 강력한 일반화 능력을 보였다.
• 통합된 토큰 기반 표현은 다양한 제어 신호를 단일 트랜스포머 기반 아키텍처 내에서 효과적으로 모델링할 수 있도록 한다.