[논문 리뷰] Generating Images from Captions with Attention

Elman Mansimov, Emilio Parisotto외 2명|arXiv (Cornell University)|2015. 11. 09.

Multimodal Machine Learning Applications참고 문헌 24인용 수 74

한 줄 요약

이 논문은 자연어 설명에서 고해상도 이미지를 생성하기 위해 단어에 대한 소프트 어텐션 메커니즘과 반복적 패치 그림 기반으로 작동하는 조건부 생성 모델인 alignDRAW를 제안한다. 변분 오토인코더와 양방향 RNN 기반의 언어 모델링 및 어텐션을 결합함으로써, 훈련 중에 볼 수 없었던 새로운 문장, 예를 들어 '파란 하늘에 정지 표지판이 날고 있다'와 같은 문장에 대해서도 현실적이며 새로운 시각적 구성 이미지를 생성할 수 있으며, 이미지 생성 및 검색 작업에서 기존 모델들을 능가한다. 구조적 유사도 지수(SI)는 0.156 ± 0.11을 기록한다.

ABSTRACT

Motivated by the recent progress in generative models, we introduce a model that generates images from natural language descriptions. The proposed model iteratively draws patches on a canvas, while attending to the relevant words in the description. After training on Microsoft COCO, we compare our model with several baseline generative models on image generation and retrieval tasks. We demonstrate that our model produces higher quality samples than other approaches and generates images with novel scene compositions corresponding to previously unseen captions in the dataset.

연구 동기 및 목표

• 자연어 기술서를 바탕으로 현실적인 이미지를 생성할 수 있는 생성 모델을 개발하는 것. 이는 조건부 또는 레이블 기반 이미지 생성을 넘어서는 것이다.
• 학습 중에 볼 수 없었던 새로운, 분포 외의 문장, 예를 들어 '정지 표지판이 파란 하늘에서 날고 있다'와 같은 문장을 다룰 수 있도록 모델을 설계하는 것.
• 라플라스 피라미드 GAN을 사용한 후처리 적인 경계 뚜렷함 향상 단계를 통합하여 이미지 품질을 향상시키는 것.
• 표준 지표를 사용하여 이미지 생성 및 이미지 검색 작업에서 모델 성능을 평가하는 것.

제안 방법

• 입력 캡션을 문장 내 전방 및 후방 의존성을 모두 포괄하는 맥락 기반 단어 표현으로 변환하기 위해 양방향 RNN을 사용한다.
• 각 이미지 생성 단계에서 캡션 내 관련 단어를 동적으로 어텐션하는 소프트 어텐션 메커니즘이 작동하여, 캔버스에 무엇을 그리고 어디에 그릴지를 안내한다.
• 이미지 생성 과정은 반복적이다: 각 시간 단계에서 모델은 작은 이미지 패치를 생성하고, 해당 패치 생성을 위한 가장 관련성이 높은 캡션의 단어를 어텐션한다.
• 이중 가능성을 갖춘 변분 오토인코더 프레임워크를 사용하여, 캡션에 주어진 이미지의 로그우도에 대한 하한을 최적화함으로써 모델을 훈련한다.
• 생성 후, 주어진 모델의 흐린 출력을 향상시키기 위해 결정적 라플라스 피라미드 GAN을 적용하여 시각적 품질을 향상시킨다.
• 모델은 Microsoft COCO 데이터셋에서 훈련되었으며, 생성된 이미지의 구조적 유사도(SI) 및 검색 메트릭(R@K)을 사용하여 평가되었다.

실험 결과

연구 질문

• RQ1 어떤 깊이 생성 모델이 단어에 대한 어텐션 메커니즘을 사용하여 자연어 캡션에서 현실적이며 일관된 이미지를 생성할 수 있는가?
• RQ2 학습 데이터에 존재하지 않는 새로운, 분포 외의 장면을 묘사하는 캡션에 대해서도 모델이 타당한 이미지를 생성할 수 있는가?
• RQ3 종료형 이미지 생성 방식과 비교했을 때, 반복적이고 어텐션 기반의 이미지 생성 방식은 이미지 품질과 검색 성능 측면에서 어떻게 다른가?
• RQ4 종료형 훈련 없이도 GAN을 후처리로 사용하여 변분 오토인코더가 생성한 이미지의 시각적 품질을 향상시킬 수 있는가?

주요 결과

• alignDRAW 모델은 구조적 유사도 지수(SI) 0.156 ± 0.11을 기록하여, 다른 변분 모델 및 LAPGAN보다 이미지 유사도 지표에서 뛰어난 성능을 보였다.
• 이미지 검색 성능에서는 Recall@50(R@50)가 68.5%를 기록하여, Fully-Conn VAE(53.4%) 및 Conv-Deconv VAE(52.9%)와 같은 기준 모델들을 크게 앞섰다.
• 매우 이례적인 캡션, 예를 들어 '파란 하늘에 정지 표지판이 날고 있다'와 같은 문장에 대해서도 모델이 타당한 이미지를 성공적으로 생성하여, 훈련 분포를 초월한 강력한 일반화 능력을 입증했다.
• 라플라스 피라미드 GAN을 통한 후처리로 시각적 선명도가 향상되었지만, 종료형 훈련이 없어 이 방법의 효과가 제한되었다.
• 이미지 선명도 처리에 민감한 성능을 보였으며, 이는 로그우도 추정치와 검색 성능이 악화되어, 후처리된 이미지에 대해 우도 기반 메트릭이 신뢰할 수 없다는 것을 시사한다.