[논문 리뷰] Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers

Yanhong Zeng, Huan Yang외 3명|arXiv (Cornell University)|2021. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 11

한 줄 요약

이 논문은 콘텐츠 토큰과 스타일 토큰을 사용하여 이미지 합성을 시각적 토큰 생성 문제로 재정의하는 트랜스포머 기반 생성자인 TokenGAN을 제안한다. 트랜스포머의 자기 및 교차 attention 메커니즘을 활용하여 콘텐츠 인식형 세밀한 스타일 제어를 가능하게 함으로써, TokenGAN은 최신 기술 수준의 FID 점수를 달성하고, 컨볼루션을 사용하지 않고도 고해상도 $1024\times1024$ 이미지를 생성한다.

ABSTRACT

We present a new perspective of achieving image synthesis by viewing this task as a visual token generation problem. Different from existing paradigms that directly synthesize a full image from a single input (e.g., a latent code), the new formulation enables a flexible local manipulation for different image regions, which makes it possible to learn content-aware and fine-grained style control for image synthesis. Specifically, it takes as input a sequence of latent tokens to predict the visual tokens for synthesizing an image. Under this perspective, we propose a token-based generator (i.e.,TokenGAN). Particularly, the TokenGAN inputs two semantically different visual tokens, i.e., the learned constant content tokens and the style tokens from the latent space. Given a sequence of style tokens, the TokenGAN is able to control the image synthesis by assigning the styles to the content tokens by attention mechanism with a Transformer. We conduct extensive experiments and show that the proposed TokenGAN has achieved state-of-the-art results on several widely-used image synthesis benchmarks, including FFHQ and LSUN CHURCH with different resolutions. In particular, the generator is able to synthesize high-fidelity images with 1024x1024 size, dispensing with convolutions entirely.

연구 동기 및 목표

• 스타일 기반 생성자에서의 스타일 제어의 얽힘 문제와 콘텐츠에 무관한 정규화의 한계를 해결하기 위해.
• 지역적이고 세밀한 스타일 조작을 향상시키기 위해 이미지 합성을 시각적 토큰 생성 문제로 재정의하기 위해.
• 학습된 스타일 토큰과 콘텐츠 토큰을 통해 콘텐츠 인식형, 어텐션 기반 스타일 전이를 가능하게 하는 생성자 설계를 위해.
• 컨볼루션 레이어를 사용하지 않고도 고해상도(예: 1024×1024)에서 고정밀도 이미지 합성을 달성하기 위해.

제안 방법

• 생성자는 콘텐츠 토큰(이미지당 고정)과 스타일 토큰(잠재 공간에서 투영)라는 두 가지 유형의 학습된 잠재 토큰을 사용한다.
• 시각적 트랜스포머가 콘텐츠 토큰과 스타일 토큰 간의 교차 어텐션을 모델링하여 각 영역별로 이미지 생성을 조건화한다.
• 콘텐츠 토큰은 공간적으로 위치가 지정되어 이미지 패치를 나타내며, 스타일 토큰은 각 패치의 스타일 임베딩을 캡처한다.
• 모델은 스타일 정규화를 위해 LayerNorm을 사용하며, 아블레이션에서 InstanceNorm과 PixelNorm보다 우수한 성능을 보였다.
• 생성자는 판별자와 함께 적대적 손실을 통해 훈련되며, 매핑 네트워크는 노이즈를 스타일 토큰으로 투영한다.
• 아키텍처는 완전히 트랜스포머 기반으로, 컨볼루션 레이어를 완전히 제거하였다.

실험 결과

연구 질문

• RQ1 이미지 합성이 지역적 스타일 제어를 향상시키기 위해 효과적으로 시각적 토큰 생성 작업으로 재정의될 수 있는가?
• RQ2 트랜스포머 내에서 콘텐츠 인식형 스타일 모델링을 위한 교차 어텐션은 전역적 AdaIN 기반 스타일 주입에 비해 이미지 품질을 어떻게 향상시키는가?
• RQ3 고해상도 이미지 합성에 가장 적합한 스타일 토큰과 콘텐츠 토큰의 수는 얼마인가?
• RQ4 토큰 기반 생성자에서 정규화 레이어의 선택은 성능에 어떤 영향을 미치는가?
• RQ5 잠재 공간이 헤어스타일이나 얼굴 표정과 같은 고수준 속성 간에 시각적으로 매끄러운 보간을 지원할 수 있는가?

주요 결과

• TokenGAN은 FFHQ-256에서 Fréchet Inception Distance(FID) 6.81을 기록하여, 32개의 스타일 토큰을 사용할 때 StyleGAN2(FID 7.66)를 초월했다.
• 모델은 컨볼루션 레이어를 전혀 사용하지 않고도 고정밀도 $1024\times1024$ 이미지를 생성하여 순수 트랜스포머 기반 이미지 합성의 가능성을 입증했다.
• 스타일 토큰 공간에서의 선형 보간은 안경, 나이, 헤어 레벨과 같은 속성 간에 시각적으로 매끄러운 전환을 생성한다.
• 32개의 스타일 토큰을 사용할 때 최고의 성능을 기록하였으며, 64개로 늘일 경우 훈련 불안정성과 성능 저하가 발생했다.
• 아블레이션 연구에서 LayerNorm이 InstanceNorm과 PixelNorm보다 우수한 성능을 보이며, 가장 낮은 FID(6.81)를 기록했다.