[논문 리뷰] A Picture is Worth a Thousand Words: A Unified System for Diverse Captions and Rich Images Generation

Yupan Huang, Bei Liu외 2명|arXiv (Cornell University)|2021. 10. 19.

Multimodal Machine Learning Applications참고 문헌 20인용 수 7

한 줄 요약

이 논문은 단일 이미지 또는 다수의 입력 문장에서 다양하고 풍부한 이미지를 동시에 생성하는 통합형 다중모달 트랜스포머 프레임워크를 제안한다. 상호 간 문장 간 관계를 비확률적 목표 함수를 통해 모델링하고 비자기적 디코딩을 사용함으로써, 문장 생성 분야에서 최고 수준의 다양성(40.2 Div-1, 53.2 Div-2)과 향상된 이미지 품질(FID 42.1)을 달성하여 이미지와 텍스트 간 이중 방향 생성이 효과적으로 이루어지는 것을 입증한다.

ABSTRACT

A creative image-and-text generative AI system mimics humans' extraordinary abilities to provide users with diverse and comprehensive caption suggestions, as well as rich image creations. In this work, we demonstrate such an AI creation system to produce both diverse captions and rich images. When users imagine an image and associate it with multiple captions, our system paints a rich image to reflect all captions faithfully. Likewise, when users upload an image, our system depicts it with multiple diverse captions. We propose a unified multi-modal framework to achieve this goal. Specifically, our framework jointly models image-and-text representations with a Transformer network, which supports rich image creation by accepting multiple captions as input. We consider the relations among input captions to encourage diversity in training and adopt a non-autoregressive decoding strategy to enable real-time inference. Based on these, our system supports both diverse captions and rich images generations. Our code is available online.

연구 동기 및 목표

• 기존 모델의 일대일 이미지-텍스트 매핑 한계를 해결하기 위해 다양한 문장과 풍부한 이미지를 이중적으로 생성할 수 있도록 하는 것.
• 훈련 중에 다수의 입력 문장 간 관계를 모델링하여 문장 생성의 다양성을 향상시키는 것.
• 실시간 추론을 가능하게 하기 위해 비자기적 디코딩 전략을 활용하여 실용적 구현을 지원하는 것.
• 이미지-텍스트 생성과 텍스트-이미지 생성을 하나의 프레임워크로 통합하여 의미적 풍부함과 정렬을 유지하는 것.

제안 방법

• 이미지와 텍스트 토큰을 모두 인코딩할 수 있는 통합형 다중모달 트랜스포머 아키텍처를 설계하여 모odal 간 크로스 어텐션을 가능하게 한다.
• 다양한 문장들이 [SEP] 토큰으로 연결되어 입력으로 제공되며, 이를 통해 풍부한 이미지를 생성한다.
• 비확률적 훈련 목표 함수를 통해 단어 반복을 방지하고, 이전에 생성된 문장들에 조건화된 방식으로 다양성을 유도한다.
• 텍스트-이미지 합성에서 시각적 토큰을 생성하기 위해 패스트 R-CNN 특징의 이산 클러스터링을 사용한다.
• 마스크 예측 k 전략을 활용한 비자기적 디코딩은 오직 4단계만으로도 빠르고 실시간 추론을 가능하게 한다.
• GAN 기반의 이미지 생성기로 이산적 이미지 토큰을 현실적인 시나리오 이미지로 변환한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 단일 이미지에서 다양한 문장을 효과적으로 생성할 수 있는가?
• RQ2 훈련 중에 문장 간 관계를 어떻게 모델링하여 문장 다양성을 향상시킬 수 있는가?
• RQ3 단일 문장 대신 다수의 문장을 입력으로 사용할 경우 이미지 생성 품질이 향상되는가?
• RQ4 비자기적 디코딩 전략은 품질 손실 없이 실시간 추론을 가능하게 하는가?
• RQ5 문장 간 상호의존성을 모델링할 경우 문장 다양성과 이미지 품질이 어느 정도 향상되는가?

주요 결과

• 제안된 방법은 MSCOCO에서 40.2 Div-1 및 53.2 Div-2 점수를 기록하여 기준 모델 대비 각각 16.8%, 24.9%의 절대적 향상을 보였다.
• CIDEr-D 점수는 낮아졌지만(80.0 vs. 100.6), 질적 예시를 통해 생성된 문장은 유창하고 의미적으로 의미 있는 것으로 확인되었다.
• 다수의 문장을 사용할 경우 텍스트-이미지 생성의 FID 점수가 51.5에서 42.1로 향상되어 더 현실적이고 분포가 잘 일치하는 이미지를 생성함을 시사한다.
• 비자기적 디코딩 전략은 오직 4단계의 샘플링만으로도 실시간 추론을 가능하게 하여 상호작용형 응용 분야에 적합함을 입증했다.
• 비확률적 목표 함수는 훈련 중 문장 간 의존성을 모델링함으로써 단어 반복을 효과적으로 줄이고 문장 다양성을 증가시켰다.
• 통합 프레임워크는 하나의 아키텍처에서 이미지-텍스트 및 텍스트-이미지 생성을 성공적으로 지원하여 이중 방향 기능을 입증했다.