[논문 리뷰] M6-UFC: Unifying Multi-Modal Controls for Conditional Image Synthesis via Non-Autoregressive Generative Transformers

Zhu Zhang, Jianxin Ma외 7명|arXiv (Cornell University)|2021. 05. 29.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

M6-UFC는 텍스트, 시각적, 유지 보존 제어를 통합하는 비자기적, BERT 기반의 이단계 프레임워크를 제안하며, 모든 입력과 출력을 이산 토큰 시퀀스로 표현함으로써 조건부 이미지 생성을 위한 통합된 접근법을 구현한다. 이는 M2C-Fashion 및 멀티모odal CelebA-HQ에서 최신 기준 FID 점수를 달성하며, 자기적 기반 모델 대비 11배 빠른 추론 속도를 제공한다. 이는 전진적 비자기적 생성 알고리즘과 전용 관련성 및 품질 평가기로 고해상도와 제어 준수성을 유지함으로써 달성된다.

ABSTRACT

Conditional image synthesis aims to create an image according to some multi-modal guidance in the forms of textual descriptions, reference images, and image blocks to preserve, as well as their combinations. In this paper, instead of investigating these control signals separately, we propose a new two-stage architecture, M6-UFC, to unify any number of multi-modal controls. In M6-UFC, both the diverse control signals and the synthesized image are uniformly represented as a sequence of discrete tokens to be processed by Transformer. Different from existing two-stage autoregressive approaches such as DALL-E and VQGAN, M6-UFC adopts non-autoregressive generation (NAR) at the second stage to enhance the holistic consistency of the synthesized image, to support preserving specified image blocks, and to improve the synthesis speed. Further, we design a progressive algorithm that iteratively improves the non-autoregressively generated image, with the help of two estimators developed for evaluating the compliance with the controls and evaluating the fidelity of the synthesized image, respectively. Extensive experiments on a newly collected large-scale clothing dataset M2C-Fashion and a facial dataset Multi-Modal CelebA-HQ verify that M6-UFC can synthesize high-fidelity images that comply with flexible multi-modal controls.

연구 동기 및 목표

• 조건부 이미지 생성을 위한 단일이고 확장 가능한 프레임워크로, 텍스트, 시각적, 유지 보존 제어를 통합하는 것.
• 속도, 통합 일관성, 유지 보존 제어 처리의 한계를 겪는 자기적 생성 기법의 문제점을 해결하는 것.
• 이미지 품질과 제어 준수성을 유지하면서 더 빠른 추론을 가능하게 하는 비자기적 생성 전략을 개발하는 것.
• 제어 준수성(관련성)과 이미지 품질(정확성)을 평가하는 전용 평가기와 함께 점진적인 추론 알고리즘을 설계하는 것.

제안 방법

• 모든 제어 신호와 생성된 이미지를 VQ-VAE 기반의 첫 번째 인코더를 사용해 이산 토큰 시퀀스로 표현함으로써, 트랜스포머 내에서 통합 처리가 가능하도록 한다.
• 비자기적 이미지 생성을 위해 양방향 트랜스포머(BERT 스타일)를 활용함으로써 전체 맥락에 대한 접근이 가능하고, 자기적 모델 대비 더 빠른 추론 속도를 확보한다.
• 훈련 단계에서 마스크된 이미지 토큰을 다중 모달 제어 및 마스크되지 않은 토큰에 조건부로 예측하는 목표를 위해 마스크된 시퀀스 모델링 목적을 사용한다.
• 낮은 신뢰도를 가진 토큰을 반복적으로 재예측하는 점진적 비자기적 생성 알고리즘(PNAG)을 도입하며, 제어 준수성(관련성)을 평가하는 추정기와 이미지 품질(정확성)을 평가하는 추정기를 각각 사용한다.
• 추론 단계에서 두 개의 분류적 추정기를 활용한다: 제어 신호와의 일치도를 평가하는 관련성 추정기와 시각적 품질을 평가하는 정확성 추정기.
• PNAG에서 동적 마스킹 전략을 적용하여 각 반복에서 가장 낮은 신뢰도 점수를 가진 상위-B개의 토큰을 선별해 재예측함으로써 수렴성과 품질 향상을 도모한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 조건부 이미지 생성에서 텍스트, 시각적, 유지 보존 제어의 조합을 효과적으로 처리할 수 있는가?
• RQ2 양방향 맥락을 활용한 비자기적 생성 방식은 자기적 방법 대비 이미지 품질과 일관성 측면에서 향상되는가?
• RQ3 전용 추정기를 갖춘 점진적 비자기적 추론 전략은 표준 비자기적 방법 대비 정확성과 제어 준수성 측면에서 뛰어나게 성능을 내는가?
• RQ4 여러 제어 모odal을 조합했을 때 제안된 방법의 성능과 속도는 어떻게 스케일링되는가?
• RQ5 점진적 비자기 알고리즘에서 병렬 재예측 수(B)와 같은 하이퍼파rameter의 영향은 무엇인가?

주요 결과

• M6-UFC는 M2C-Fashion에서 11.14, Multi-Modal CelebA-HQ에서 65.30의 최신 기준 FID 점수를 기록하며, TediGAN과 VQGAN에 비해 핵심 지표에서 승리한다.
• 자기적 VQGAN 기반 모델 대비 11배 빠른 추론 속도를 확보하면서도, 모든 지표에서 이미지 품질을 유지하거나 향상시켰다.
• 점진적 비자기적 생성 알고리즘과 관련성 및 정확성 추정기를 통한 성능 향상은 아블레이션 연구를 통해 확인되었으며, FID 및 LPIPS 점수가 표준 Mask-Predict 대비 낮아 보였다.
• 아블레이션 연구 결과, 관련성 추정기와 정확성 추정기 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능 저하가 발생하였다.
• 병렬 재예측 수(B)를 1에서 10으로 증가시킬수록 FID 및 LPIPS 점수가 일관되게 향상되어, PNAG 전략의 확장성과 강건성을 입증하였다.
• 시각적 예시를 통해 M6-UFC는 반대적 의미의 텍스트 기술조차도 고해상도 이미지를 성공적으로 생성함으로써 강력한 제어 일치성과 현실감을 입증하였다.