[论文解读] Curiosity-driven Reinforcement Learning for Diverse Visual Paragraph Generation

Yadan Luo, Zi Huang+4 more|arXiv (Cornell University)|Aug 1, 2019

Multimodal Machine Learning Applications参考文献 57被引用 7

一句话总结

该论文提出了一种基于好奇心的强化学习（CRL）框架，用于视觉段落生成，通过将内在好奇心奖励与策略梯度训练相结合，提升了生成结果的多样性和准确性。通过将状态转移的预测不确定性建模为内在奖励，智能体能够探索罕见且精确的描述；同时，时序差分学习用于估计稀疏的外在奖励，而折扣模仿学习则在无需预训练的情况下加速收敛，在斯坦福图像-段落数据集上相比最先进方法实现了38.4%的性能提升。

ABSTRACT

Visual paragraph generation aims to automatically describe a given image from different perspectives and organize sentences in a coherent way. In this paper, we address three critical challenges for this task in a reinforcement learning setting: the mode collapse, the delayed feedback, and the time-consuming warm-up for policy networks. Generally, we propose a novel Curiosity-driven Reinforcement Learning (CRL) framework to jointly enhance the diversity and accuracy of the generated paragraphs. First, by modeling the paragraph captioning as a long-term decision-making process and measuring the prediction uncertainty of state transitions as intrinsic rewards, the model is incentivized to memorize precise but rarely spotted descriptions to context, rather than being biased towards frequent fragments and generic patterns. Second, since the extrinsic reward from evaluation is only available until the complete paragraph is generated, we estimate its expected value at each time step with temporal-difference learning, by considering the correlations between successive actions. Then the estimated extrinsic rewards are complemented by dense intrinsic rewards produced from the derived curiosity module, in order to encourage the policy to fully explore action space and find a global optimum. Third, discounted imitation learning is integrated for learning from human demonstrations, without separately performing the time-consuming warm-up in advance. Extensive experiments conducted on the Standford image-paragraph dataset demonstrate the effectiveness and efficiency of the proposed method, improving the performance by 38.4% compared with state-of-the-art.

研究动机与目标

• 为解决视觉段落生成中的模式崩溃问题，即模型重复使用通用短语而非捕捉多样且精确的描述。
• 解决在段落生成强化学习中外在奖励稀疏且延迟的问题。
• 通过将折扣模仿学习整合到策略优化过程中，消除对耗时预训练的依赖。
• 通过结合内在好奇心与外在评估信号，提升策略网络的探索能力和收敛速度。

提出的方法

• CRL框架引入了一种基于状态转移预测不确定性的内在奖励，以鼓励智能体探索罕见且精确的视觉描述。
• 采用时序差分学习，在每个时间步估计预期的外在奖励，从而在延迟反馈的情况下提供密集的奖励信号。
• 通过结合内在奖励与估计的外在奖励，使用策略梯度方法训练策略网络，以指导长期决策。
• 将折扣模仿学习集成，从人类示范中提供初始策略监督，从而无需额外的预热阶段。
• 架构采用自上而下注意力机制与语言LSTM，动态关注图像区域，生成连贯且细节丰富的段落。
• 好奇心模块计算实际与预测下一状态之间的预测误差，该误差作为内在奖励，以促进对新颖视觉-语言模式的探索。

实验结果

研究问题

• RQ1 内在好奇心奖励能否通过鼓励探索罕见且精确的描述，有效缓解视觉段落生成中的模式崩溃？
• RQ2 在训练过程中，如何估计来自评估指标的稀疏且延迟的外在奖励，以实现稳定的策略优化？
• RQ3 折扣模仿学习在多大程度上可以替代传统预训练，以加速视觉段落生成的收敛？
• RQ4 与标准强化学习基线相比，结合内在好奇心与外在奖励估计是否能生成更具多样性和连贯性的段落？

主要发现

• 所提出的CRL方法在斯坦福图像-段落数据集上，相比最先进基线，CIDEr得分相对提升了38.4%。
• CRL模型收敛速度显著更快——约25个周期，而基线方法在去除内在奖励后需40个周期。
• 基于自上而下注意力机制的策略网络配合CRL，相比无内在奖励的CRL，CIDEr提升16.36%；相比无强化学习的CRL，提升97.89%。
• 语义图分析显示，CRL生成的段落相比基线具有更广的词汇覆盖范围和更丰富的句法关系，接近人工标注的多样性水平。
• 通过梯度裁剪和学习率调整，训练奖励的方差得以降低，CRL方法展现出稳定且平滑的奖励进展。
• 基于区域的视觉特征优于ResNet特征，尤其在与自上而下注意力机制结合时，凸显了局部视觉表征在段落生成中的重要性。