[论文解读] Beyond Narrative Description: Generating Poetry from Images by Multi-Adversarial Training

Bei Liu, Jianlong Fu+2 more|arXiv (Cornell University)|Apr 23, 2018

Multimodal Machine Learning Applications参考文献 38被引用 16

一句话总结

本文提出了一种用于图像到诗歌生成的多对抗生成模型，该模型联合学习视觉-诗歌嵌入，并使用双重判别器来强化跨模态相关性与诗歌语言风格。该方法在自动评估和人工评估中均取得了最先进性能，包括在图灵测试中，人类评估者难以区分生成的诗歌与人类创作的诗歌。

ABSTRACT

Automatic generation of natural language from images has attracted extensive attention. In this paper, we take one step further to investigate generation of poetic language (with multiple lines) to an image for automatic poetry creation. This task involves multiple challenges, including discovering poetic clues from the image (e.g., hope from green), and generating poems to satisfy both relevance to the image and poeticness in language level. To solve the above challenges, we formulate the task of poem generation into two correlated sub-tasks by multi-adversarial training via policy gradient, through which the cross-modal relevance and poetic language style can be ensured. To extract poetic clues from images, we propose to learn a deep coupled visual-poetic embedding, in which the poetic representation from objects, sentiments and scenes in an image can be jointly learned. Two discriminative networks are further introduced to guide the poem generation, including a multi-modal discriminator and a poem-style discriminator. To facilitate the research, we have released two poem datasets by human annotators with two distinct properties: 1) the first human annotated image-to-poem pair dataset (with 8,292 pairs in total), and 2) to-date the largest public English poem corpus dataset (with 92,265 different poems in total). Extensive experiments are conducted with 8K images, among which 1.5K image are randomly picked for evaluation. Both objective and subjective evaluations show the superior performances against the state-of-the-art methods for poem generation from images. Turing test carried out with over 500 human subjects, among which 30 evaluators are poetry experts, demonstrates the effectiveness of our approach.

研究动机与目标

• 为解决从图像生成诗歌语言的挑战，这需要捕捉超越事实性图像描述的抽象、情感和象征性线索。
• 通过学习深层耦合的视觉-诗歌嵌入，弥合视觉内容与诗歌表达之间的差距，以在共享空间中捕捉情感、物体和场景。
• 通过使用两个判别器进行对抗训练，强化图像相关性和诗歌语言风格，从而提升诗歌质量。
• 通过发布两个新数据集，促进图像到诗歌生成的研究：MultiM-Poem（8,292对图像-诗歌）和UniM-Poem（92,265首诗歌）。

提出的方法

• 提出一种深层耦合视觉-诗歌嵌入（VPE）模型，将卷积神经网络（CNN）提取的视觉特征与诗歌表征（物体、情感、场景）联合编码到共享嵌入空间中。
• 采用多模态判别器（$D_m$）确保生成的诗歌与输入图像相关，通过比较真实图像-诗歌对与生成的图像-诗歌对。
• 引入诗歌风格判别器（$D_p$）以强化诗歌语言风格，如简洁性、富有想象力的用词以及主题一致性。
• 使用基于策略梯度的强化学习优化生成器，由两个判别器提供的奖励引导生成过程。
• 在统一框架中结合检索与生成技术，以提升生成诗歌的质量与多样性。
• 端到端训练生成器，使用对抗损失，使生成器更新以欺骗两个判别器，从而在相关性与诗意之间取得平衡。

实验结果

研究问题

• RQ1 如何有效将视觉表征映射到诗歌概念（如情感、象征和隐喻）？
• RQ2 使用双重判别器进行对抗训练，能否同时提升图像到诗歌生成中的图像相关性与诗歌语言质量？
• RQ3 深层视觉-诗歌嵌入模型在多大程度上能捕捉标准图像字幕中未包含的图像中的抽象诗歌线索？
• RQ4 与人类创作的诗歌相比，人类评估者如何评价生成诗歌的质量与真实性？
• RQ5 与单判别器或基线模型相比，使用两个判别器在自动评估和主观评估指标上的影响如何？

主要发现

• 所提出的I2P-GAN模型结合多模态判别器与诗歌风格判别器，在整体质量方面获得了最高的人工评估得分（7.18/10），优于所有基线模型，包括Show and Tell和SeqGAN。
• 该模型在人工评估中的平均得分为7.18/10（涵盖相关性、连贯性和想象力），显著优于次优方法（6.85/10）。
• 在图灵测试中，60%的诗歌专家在图像配对的诗歌中正确识别出人类创作的诗歌，但生成的诗歌仍引起大量混淆，表明其具有极强的人类诗歌质量。
• 同时使用两个判别器的模型在BLEU（6.59）与新颖性（7.05）之间达到最佳平衡，表明其在保持高相关性与创造力的同时具备良好的泛化能力。
• 视觉-诗歌嵌入（VPE）模型在捕捉诗歌线索方面表现更优，例如从“明亮的阳光”中捕捉到“希望”，从“空椅子”中捕捉到“孤独”，相比基线方法有明显提升。
• 发布MultiM-Poem（8,292对）和UniM-Poem（92,265首）数据集，为图像到诗歌生成研究提供了首个大规模、公开可用的数据集。