[논문 리뷰] Beyond Narrative Description: Generating Poetry from Images by Multi-Adversarial Training

Bei Liu, Jianlong Fu외 2명|arXiv (Cornell University)|2018. 04. 23.

Multimodal Machine Learning Applications참고 문헌 38인용 수 16

한 줄 요약

이 논문은 시각-시적 임베딩을 공동으로 학습하고 이중 판별기(dual discriminators)를 사용하여 다중 모odal한 관련성과 시적 언어 스타일을 강화함으로써 이미지에서 시를 생성하기 위한 다중 적대적 생성 모델을 제안한다. 이 방법은 자동 평가와 인간 평가 모두에서 최신 기준 성능을 달성하였으며, 인간 평가자들이 생성된 시와 인간이 쓴 시를 구분하기 어려운 투링 테스트를 통과하였다.

ABSTRACT

Automatic generation of natural language from images has attracted extensive attention. In this paper, we take one step further to investigate generation of poetic language (with multiple lines) to an image for automatic poetry creation. This task involves multiple challenges, including discovering poetic clues from the image (e.g., hope from green), and generating poems to satisfy both relevance to the image and poeticness in language level. To solve the above challenges, we formulate the task of poem generation into two correlated sub-tasks by multi-adversarial training via policy gradient, through which the cross-modal relevance and poetic language style can be ensured. To extract poetic clues from images, we propose to learn a deep coupled visual-poetic embedding, in which the poetic representation from objects, sentiments and scenes in an image can be jointly learned. Two discriminative networks are further introduced to guide the poem generation, including a multi-modal discriminator and a poem-style discriminator. To facilitate the research, we have released two poem datasets by human annotators with two distinct properties: 1) the first human annotated image-to-poem pair dataset (with 8,292 pairs in total), and 2) to-date the largest public English poem corpus dataset (with 92,265 different poems in total). Extensive experiments are conducted with 8K images, among which 1.5K image are randomly picked for evaluation. Both objective and subjective evaluations show the superior performances against the state-of-the-art methods for poem generation from images. Turing test carried out with over 500 human subjects, among which 30 evaluators are poetry experts, demonstrates the effectiveness of our approach.

연구 동기 및 목표

• 사실적인 이미지 기술서를 넘어서 추상적, 감정적, 상징적인 신호를 포착할 수 있어야 하는 이미지에서의 시적 언어 생성 도전 과제를 해결하기 위해.
• 감정, 객체, 풍경을 공유된 공간에 포괄하는 깊이 있는 결합된 시각-시적 임베딩을 학습하여 시각적 콘텐츠와 시적 표현 간 격차를 메우기 위해.
• 이중 판별기를 사용한 적대적 훈련을 통해 이미지 관련성과 시적 언어 스타일을 동시에 강화하여 시적 품질을 향상시키기 위해.
• 이미지-시 생성 연구를 촉진하기 위해 두 가지 새로운 데이터셋인 MultiM-Poem(8,292개의 이미지-시 쌍)과 UniM-Poem(92,265개의 시)을 공개하기 위해.

제안 방법

• 시각적 특징을 CNN에서 추출하고, 시적 표현(객체, 감정, 풍경 등)을 함께 인코딩하여 공유된 임베딩 공간에 통합하는 깊이 있는 결합된 시각-시적 임베딩(VPE) 모델을 제안한다.
• 실제 이미지-시 쌍과 생성된 쌍을 비교함으로써 생성된 시가 입력 이미지와 관련성이 있도록 보장하기 위해 다중 모odal 판별기($D_m$)를 사용한다.
• 요약성, 상상력 있는 어휘 선택, 주제의 통일성 등의 시적 언어 스타일을 강화하기 위해 시 스타일 판별기($D_p$)를 도입한다.
• 정책 기반 강화 학습을 사용하여 생성기를 최적화하며, 두 판별기의 보상이 생성 과정을 이끄는 데 사용된다.
• 품질과 다양성을 향상시키기 위해 검색과 생성 기법을 통합된 프레임워크 안에서 결합한다.
• 생성기를 적대적 손실을 통해 엔드 투 엔드로 훈련하며, 생성기는 두 판별기를 속이도록 업데이트되어 관련성과 시적 품질 사이의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 감정, 상징, 은유와 같은 시적 개념으로의 시각적 표현을 효과적으로 매핑할 수 있는가?
• RQ2 이중 판별기를 사용한 적대적 훈련이 이미지-시 생성에서 이미지 관련성과 시적 언어 품질을 모두 향상시킬 수 있는가?
• RQ3 깊이 있는 시각-시적 임베딩 모델이 표준 이미지 캐프션에 존재하지 않는 추상적 시적 단서를 이미지에서 얼마나 잘 포착할 수 있는가?
• RQ4 인간 평가자들은 생성된 시의 품질과 진정성에 대해 인간이 쓴 시와 비교해 어떻게 평가하는가?
• RQ5 이중 판별기 모델이 자동 평가 및 주관적 평가 지표에서 단일 판별기 또는 기준 모델보다 어떤 영향을 미치는가?

주요 결과

• 이중 다중 모달 및 시 스타일 판별기를 갖춘 I2P-GAN 모델은 총합 품질 평가에서 가장 높은 인간 평가 점수(7.18/10)를 기록하여 Show and Tell 및 SeqGAN을 포함한 모든 기준 모델을 압도하였다.
• 모델은 관련성, 통일성, 상상력에 대한 인간 평가에서 평균 7.18/10의 점수를 기록하여 다음으로 우수한 방법(6.85/10)보다 유의미하게 높았다.
• 투링 테스트에서 60%의 시 전문가들이 인간이 쓴 시를 이미지와 함께 식별했지만, 생성된 시는 여전히 상당한 혼동을 일으켜 인간과 유사한 품질을 보였다.
• 이중 판별기를 갖춘 모델은 BLEU(6.59)와 신선도(novelty, 7.05) 사이에서 최적의 균형을 이루었으며, 관련성과 창의성 모두 높은 수준을 유지함을 보였다.
• 시각-시적 임베딩(VPE) 모델은 '밝은 햇살'에서 '희망'을, '비어 있는 의자'에서 '외로움'을 포착하는 등 기준 방법보다 더 나은 성능을 보였다.
• MultiM-Poem(8,292개의 쌍)과 UniM-Poem(92,265개의 시)의 공개는 이미지-시 생성 연구를 위한 첫 번째 대규모 공개 데이터셋을 제공한다.