[论文解读] Generating Diverse and Informative Natural Language Fashion Feedback

Gil Sadeh, Lior Fritz+2 more|arXiv (Cornell University)|Jun 15, 2019

Multimodal Machine Learning Applications参考文献 28被引用 4

一句话总结

本文提出了一种基于最大互信息（MMI）的解码方法，用于生成多样且信息丰富的自然语言时尚反馈。通过在标准图像字幕模型中引入视觉注意力机制和MMI解码，该方法生成的响应比标准最大似然训练更具针对性、多样性与人类自然语言特征，其在人类评估中的表现与人类时尚专家相当。

ABSTRACT

Recent advances in multi-modal vision and language tasks enable a new set of applications. In this paper, we consider the task of generating natural language fashion feedback on outfit images. We collect a unique dataset, which contains outfit images and corresponding positive and constructive fashion feedback. We treat each feedback type separately, and train deep generative encoder-decoder models with visual attention, similar to the standard image captioning pipeline. Following this approach, the generated sentences tend to be too general and non-informative. We propose an alternative decoding technique based on the Maximum Mutual Information objective function, which leads to more diverse and detailed responses. We evaluate our model with common language metrics, and also show human evaluation results. This technology is applied within the ``Alexa, how do I look?'' feature, publicly available in Echo Look devices.

研究动机与目标

• 解决标准图像字幕模型在生成时尚反馈时缺乏多样性和具体性的问题。
• 开发一种生成模型，以捕捉图像中未直接可见的细微、抽象时尚概念，如合身度、潮流趋势和色彩搭配。
• 通过生成更具信息量和多样性的反馈，提升Echo Look设备中“Alexa，我看起来怎么样？”功能的响应质量。
• 克服标准NLP指标（如BLEU、CIDEr）在评估时尚反馈时因n-gram重叠度低而无法有效捕捉多样性的局限。
• 通过人类评估验证模型性能，包括时尚图灵测试和语言质量评估。

提出的方法

• 收集一个独特的约60,000张穿搭图像数据集，包含约170,000对正面及建设性时尚反馈语句。
• 使用视觉注意力机制端到端训练编码器-解码器模型，其中卷积神经网络（CNN）作为图像编码器，循环神经网络（RNN）作为解码器。
• 在解码过程中应用最大互信息（MMI）目标，以减少对句子先验的依赖，提升响应多样性。
• 采用自顶向下的注意力机制，聚焦于图像中的显著区域，提升生成反馈的相关性。
• 引入温度衰减策略，β=0.4，分别在第11步和第16步后降低MMI的影响，以减少语言错误。
• 使用自动指标（尤其是CIDEr）和广泛的人员评估进行评估，包括时尚图灵测试和语言质量评估。

实验结果

研究问题

• RQ1 具备视觉注意力机制的深度生成模型能否生成多样且信息丰富的时尚反馈，达到人类水平的质量？
• RQ2 与标准最大似然训练相比，基于MMI的解码是否能显著提升时尚反馈的多样性和具体性？
• RQ3 生成的时尚反馈在时尚图灵测试中能在多大程度上欺骗人类评估者？
• RQ4 鉴于人工标注反馈中n-gram重叠度低，标准NLP指标（如CIDEr）在评估时尚反馈时表现如何？
• RQ5 该模型能否生成反映图像中未直接视觉呈现的抽象时尚概念的反馈？

主要发现

• 采用自顶向下注意力机制和MMI解码的模型在TIP任务上的CIDEr得分为0.737，在GOOD任务上为0.988，优于所有基线模型，甚至超过时尚专家在自动指标上的表现。
• 人类评估显示，83%的生成GOOD反馈和84%的TIP反馈在时尚图灵测试中被误判为人类撰写，表明其具备高度的真实感和相关性。
• 在语言质量测试中，89%的生成GOOD响应和93%的TIP响应被判定无语言错误，与真实人类响应的86%和88%成功率相当。
• 与标准最大似然解码相比，该模型在多样性与词汇使用方面有显著提升，CIDEr得分和词汇多样性得分更高。
• 尽管自动指标表现优异，但多样性与词汇使用方面的差距表明，当前指标仍无法完全捕捉高质量时尚反馈的细微差别。
• 该模型已成功部署于Echo Look设备的“Alexa，我看起来怎么样？”功能中，证明了其在真实场景中的适用性及用户体验的提升。