[论文解读] Teaching Machines to Describe Images via Natural Language Feedback

Huan Ling, Sanja Fidler|arXiv (Cornell University)|Jun 1, 2017

Multimodal Machine Learning Applications参考文献 28被引用 32

一句话总结

本文提出了一种强化学习框架，使非专家用户能够通过自然语言反馈来指导图像字幕模型的训练，采用分层短语基RNN和反馈网络来解释并应用描述性修正。该模型通过利用人类提供的语言反馈来提升字幕质量和准确性，其性能优于仅使用真实字幕训练的模型。

ABSTRACT

Robots will eventually be part of every household. It is thus critical to enable algorithms to learn from and be guided by non-expert users. In this paper, we bring a human in the loop, and enable a human teacher to give feedback to a learning agent in the form of natural language. We argue that a descriptive sentence can provide a much stronger learning signal than a numeric reward in that it can easily point to where the mistakes are and how to correct them. We focus on the problem of image captioning in which the quality of the output can easily be judged by non-experts. We propose a hierarchical phrase-based captioning model trained with policy gradients, and design a feedback network that provides reward to the learner by conditioning on the human-provided feedback. We show that by exploiting descriptive feedback our model learns to perform better than when given independently written human captions.

研究动机与目标

• 使非专家用户能够使用自然语言反馈而非数值奖励来引导图像字幕智能体。
• 通过使用能识别具体错误并提出修正建议的描述性反馈，解决强化学习中稀疏或数值奖励的局限性。
• 设计一种可扩展的分层短语基字幕模型，使其自然地与人类反馈集成以提升学习效果。
• 证明描述性反馈相较于独立撰写的真人字幕，能带来更优的字幕生成性能。

提出的方法

• 使用分层短语基RNN生成字幕，结合注意力机制以定位短语，支持反馈的目标定位。
• 人类教师通过网页界面提供反馈，识别错误短语并使用自然语言提出修正建议。
• 训练反馈网络将人类反馈映射为奖励信号，用于在强化学习中塑造策略梯度。
• 使用策略梯度强化学习对模型进行微调，其中反馈作为密集且信息丰富的奖励信号。
• 反馈以三元组形式结构化：错误识别、修正建议和短语级对齐，以实现精确的策略更新。
• 通过与基于真实字幕和基线强化学习智能体的模型进行性能对比，对框架进行评估。

实验结果

研究问题

• RQ1 非专家提供的自然语言反馈能否使图像字幕性能超越标准监督学习？
• RQ2 描述性反馈与数值奖励相比，在引导图像字幕策略学习方面表现如何？
• RQ3 分层短语基字幕模型能否有效实现逐短语的人类反馈整合？
• RQ4 能识别具体错误并提出修正建议的反馈是否能带来更快且更准确的学习？

主要发现

• 使用人类提供的自然语言反馈训练的模型，其性能优于仅使用相同数量真实字幕训练的模型。
• 能识别具体短语并提出修正建议的反馈，可生成更准确且更符合上下文的字幕。
• 分层短语基模型实现了反馈与模型输出之间的精确对齐，提升了策略梯度学习中的信用分配效果。
• 定性结果表明，反馈有助于纠正对象身份错误（如将'cat'更正为'dog'）和结构问题（如遗漏对象或错误的介词使用）。
• 反馈网络成功理解语言修正，并将其转化为有效的策略更新，提升了泛化能力和鲁棒性。
• 在某些情况下，基于反馈的模型生成的字幕比MLE和基线强化学习模型更准确，即使后者使用了人工标注的字幕进行训练。