[논문 리뷰] GILT: Generating Images from Long Text

Ori Bar El, Ori Licht외 1명|arXiv (Cornell University)|2019. 01. 08.

Image Retrieval and Classification Techniques참고 문헌 17인용 수 10

한 줄 요약

이 논문은 장문의 복잡한 텍스트 설명(예: 완전한 레시피)에서 고해상도(256×256) 요리 이미지를 직접적인 시각적 기술 없이 생성하기 위한 새로운 작업과 베이스라인인 GILT를 소개한다. 이 방법은 두 가지 레시피 임베딩 유형—코사인 유사도 기반(NOREG)과 의미 정규화 기반(REG)—에 조건부로 설정된 StackGAN-v2를 사용하며, REG보다 NOREG가 더 다양한 사진처럼 생긴 이미지를 생성하는 데에 더 뛰어나다는 것을 발견했다. 비록 REG가 분류 작업에서는 더 나은 성능을 보였지만 말이다.

ABSTRACT

Creating an image reflecting the content of a long text is a complex process that requires a sense of creativity. For example, creating a book cover or a movie poster based on their summary or a food image based on its recipe. In this paper we present the new task of generating images from long text that does not describe the visual content of the image directly. For this, we build a system for generating high-resolution 256 $ imes$ 256 images of food conditioned on their recipes. The relation between the recipe text (without its title) to the visual content of the image is vague, and the textual structure of recipes is complex, consisting of two sections (ingredients and instructions) both containing multiple sentences. We used the recipe1M dataset to train and evaluate our model that is based on a the StackGAN-v2 architecture.

연구 동기 및 목표

• 장문의 비시각적 텍스트 설명(예: 완전한 레시피)에서 고해상도 이미지를 생성하는 새로운 작업을 설정하기.
• 조건부 GAN을 사용하여 복잡한 다중 섹션 레시피(재료 및 지시사항 포함)에 조건부로 이미지 생성을 위한 기초 시스템을 개발하기.
• 텍스트-이미지 생성 맥락에서 두 가지 레시피 임베딩 방법—NOREG(의미 정규화 없음)와 REG(의미 정규화 있음)—을 비교하기.
• 이미지 품질과 다양성에 대해 정량적 지표(Inception Score, MS-SSIM)와 인간 평가(이미지 현실성, 레시피-이미지 관련성, 시각적 타당성)를 모두 활용하여 평가하기.

제안 방법

• 모델은 다단계 과정을 거쳐 256×256 이미지를 생성하기 위해 StackGAN-v2를 사용하며, 저해상도 노이즈 벡터에서 시작하여 여러 단계의 생성기 및 판별기 스테이지로 개선한다.
• 생성기와 판별기는 레시피 제목을 제외한 전체 레시피를 나타내는 단일 임베딩 벡터에 의해 조건부로 설정되며, 이는 레시피 임베딩과 이미지 임베딩 간의 코사인 유사도 손실을 통해 학습된 공동 임베딩 공간에서 유도된다.
• 두 가지 임베딩 방법을 사용한다: NOREG는 레시피와 이미지 임베딩 간의 코사인 유사도에 기반하며, REG는 고수준 분류 손실을 추가하여 임베딩 공간을 정규화한다.
• 레시피 임베딩은 두 단계 과정을 통해 계산된다: 먼저 재료와 지시사항에 대한 초기 임베딩을 학습한 후, 이를 연결하여 이미지와 함께 공유된 의미 공간에서 공동 임베딩을 수행한다.
• 학습 목표는 표준 최소-최대 GAN 손실을 따르며, 조건부 GAN 형식을 취한다: min_G max_D E[log D(x)] + E[log(1 - D(G(z,c)))] where c는 레시피 임베딩이다.
• 평가에는 Inception Score, MS-SSIM(다양성 측정), 그리고 세 가지 요소에 대한 인간 평가(레시피-이미지 관련성, 이미지 현실성, 이미지-레시피 일관성)가 포함된다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 장문의 비시각적 텍스트 설명(예: 완전한 레시피)에서 고해상도, 사진처럼 생긴 요리 이미지를 생성할 수 있는가?
• RQ2 의미 정규화 유무에 따라 다른 레시피 임베딩 전략이 텍스트-이미지 생성에서 이미지 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 recipe1M처럼 저품질, 높은 다양성을 가진 데이터셋에서 학습된 모델은 이미지 노이즈와 낮은 조명 조건에도 불구하고 여전히 현실적이고 다양한 출력을 생성할 수 있는가?
• RQ4 레시피 임베딩 방법의 분류 작업 성능(예: 1048개의 요리 클래스)이 이미지 생성 성공 여부를 예측할 수 있는가?
• RQ5 인간 평가의 이미지 현실성 및 레시피 관련성 평가가 Inception Score 및 MS-SSIM와 같은 자동화된 지표와 어느 정도 상관이 있는가?

주요 결과

• NOREG 임베딩 방법(의미 정규화 없음)은 REG보다 더 높은 Inception Score(4.55 ± 0.20)를 기록하여 더 나은 이미지 품질과 다양성을 나타냈다.
• 인간 평가 결과, NOREG가 생성한 이미지는 현실성(3.72)과 레시피-이미지 관련성(2.88)에서 REG(각각 3.05 및 2.62)보다 유의미하게 높은 순위를 기록했다.
• MS-SSIM 점수는 NOREG가 REG보다 더 다양한 이미지를 생성했음을 확인했으며(각각 0.07과 0.17), 낮은 점수는 더 높은 다양성을 의미한다.
• REG는 원래 분류 작업에서 더 뛰어난 성능을 보였음에도 불구하고(참고 문헌 [11]에 기재됨), 이미지 생성에서는 열등한 성능을 보였으며, 더 흐릿하고 현실감이 떨어지는 출력을 생성했다.
• 모델은 죽과 같은 음식(예: 수프, 밥, 파스타)의 현실적인 이미지를 성공적으로 생성했지만, 명확한 형태를 가진 음식(예: 햄버거, 음료)은 어려움을 겪었으며, 이는 훈련 데이터셋에서의 낮은 이미지 품질 때문일 가능성이 높다.
• 어떤 경우에서는 생성된 이미지가 인간 평가에서 실제 이미지보다 더 높은 순위를 받았으며, 이는 모델이 타당하고 현실적인 출력을 생성할 수 있음을 시사한다.