[논문 리뷰] Text-to-Image Generation with Attention Based Recurrent Neural Networks

Tehseen Zia, Shahan Arif외 2명|arXiv (Cornell University)|2020. 01. 18.

Video Analysis and Summarization참고 문헌 24인용 수 6

한 줄 요약

이 논문은 단어-픽셀 어텐션과 픽셀-픽셀 순차적 예측을 갖춘 인코더-디코더 프레임워크를 사용하여 텍스트 캡션에서 고품질 이미지를 생성하는 어텐션 기반 자동회귀 이미지 생성 모델을 제안한다. 모델은 외부 객체 검출기 없이 엔드 투 엔드 학습을 통해 MS-COCO 및 MNIST-with-captions 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 구조적 유사도 및 리콜 지표에서 이전 방법들을 능가한다.

ABSTRACT

Conditional image modeling based on textual descriptions is a relatively new domain in unsupervised learning. Previous approaches use a latent variable model and generative adversarial networks. While the formers are approximated by using variational auto-encoders and rely on the intractable inference that can hamper their performance, the latter is unstable to train due to Nash equilibrium based objective function. We develop a tractable and stable caption-based image generation model. The model uses an attention-based encoder to learn word-to-pixel dependencies. A conditional autoregressive based decoder is used for learning pixel-to-pixel dependencies and generating images. Experimentations are performed on Microsoft COCO, and MNIST-with-captions datasets and performance is evaluated by using the Structural Similarity Index. Results show that the proposed model performs better than contemporary approaches and generate better quality images. Keywords: Generative image modeling, autoregressive image modeling, caption-based image generation, neural attention, recurrent neural networks.

연구 동기 및 목표

• GAN의 불안정성과 VAE의 비가역 추론 문제를 피하면서도 실현 가능하고 안정적인 캡션 기반 이미지 생성 모델을 개발하기 위해.
• 잠재적 단어-픽셀 정렬을 엔드 투 엔드로 학습함으로써 외부 객체 검출기나 세그멘테이션 모델에 의존하지 않도록 하기 위해.
• 언어 의미와 픽셀 수준의 의존성을 통합된 자동회귀 프레임워크에서 동시에 모델링하여 이미지 생성 품질을 향상시키기 위해.
• 구조적 유사도 및 리콜 지표를 사용하여 벤치마크 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 캡션의 단어와 해당 이미지 영역 간의 정렬을 학습하기 위해 어텐션 기반 인코더를 사용한다.
• 이미지의 픽셀을 이전에 생성된 픽셀에 조건부로 순차적으로 생성하기 위해 조건부 자동회귀 디코더를 적용한다.
• 이중 경로 학습 메커니즘을 도입: 단어-픽셀 어텐션은 의미적 가이던스를 제공하고, 픽셀-픽셀 자동회귀는 공간적 일관성을 확보한다.
• 픽셀 시퀀스에 대한 최대우도 추정을 사용하여 모델을 엔드 투 엔드로 학습한다.
• 언어 공간과 이미지 공간 양쪽에서 장거리 의존성을 모델링하기 위해 RNN 아키텍처를 활용한다.
• 생성 정밀도를 향상시키기 위해 픽셀 수준 복원 기반의 구조적 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 외부 객체 검출기에 의존하지 않고 엔드 투 엔드 어텐션 기반 자동회귀 모델이 텍스트 캡션에서 고품질 이미지를 생성할 수 있는가?
• RQ2 고정되거나 사전 계산된 이미지 구조를 사용하는 모델과 비교해, 어텐션 기반 단어-픽셀 정렬이 이미지 생성 품질을 어떻게 향상시키는가?
• RQ3 어텐션 기반 자동회귀 모델링이 GAN 기반 또는 VAE 기반 접근 방식보다 더 뛰어난 안정성과 성능을 제공하는가?
• RQ4 모델이 추론 도중에 미리 보지 않은 텍스트 설명에 얼마나 잘 일반화되는가?

주요 결과

• MS-COCO 데이터셋에서 제안된 alignPixelRNN 모델은 구조적 유사도 지수(SI) 0.166 ± 0.12를 기록하여, alignDRAW(0.156 ± 0.11)를 포함한 모든 베이스라인 모델을 능가했다.
• 모델은 MS-COCO에서 recall@50가 80.5를 기록하여, 다음으로 우수한 베이스라인인 alignDRAW(68.5)보다 유의미하게 높았다.
• MNIST-with-captions 데이터셋에서 모델은 recall@50가 88이며, SSI는 0.356 ± 0.35로, 더 단순하고 구조화된 데이터에서 뛰어난 성능을 보였다.
• 시각적 샘플을 통해 모델은 단일 패assing으로 이미지를 생성하고 반복적으로 개선하는 베이스라인 alignDRAW보다 더 선명하고 일관성 있는 이미지를 생성하는 것으로 나타났다.
• 모델의 성능은 안정적이며 일반화 능력이 뛰어나, 최소한의 과적합을 보이며 일관된 훈련 및 검증 손실 곡선을 보였다.
• 어텐션 메커니즘이 명시적 객체 검출이 필요 없이 추상적 개념 수준의 정렬을 학습할 수 있도록 해, 진정한 엔드 투 엔드 학습을 가능하게 했다.