[论文解读] Asking the Difficult Questions: Goal-Oriented Visual Question Generation via Intermediate Rewards

Junjie Zhang, Qi Wu+4 more|arXiv (Cornell University)|Nov 21, 2017

Multimodal Machine Learning Applications参考文献 29被引用 17

一句话总结

本文提出了一种基于深度强化学习的目标导向型视觉问题生成框架，引入三种中间奖励——目标达成、渐进式和信息量——以生成简洁、富有信息量的问题，从而加速物体识别。与基线模型和最先进模型相比，该方法在GuessWhat?!基准测试中显著提升了成功率，减少了对话轮次并提高了问题质量。

ABSTRACT

Despite significant progress in a variety of vision-and-language problems, developing a method capable of asking intelligent, goal-oriented questions about images is proven to be an inscrutable challenge. Towards this end, we propose a Deep Reinforcement Learning framework based on three new intermediate rewards, namely goal-achieved, progressive and informativeness that encourage the generation of succinct questions, which in turn uncover valuable information towards the overall goal. By directly optimizing for questions that work quickly towards fulfilling the overall goal, we avoid the tendency of existing methods to generate long series of insane queries that add little value. We evaluate our model on the GuessWhat?! dataset and show that the resulting questions can help a standard Guesser identify a specific object in an image at a much higher success rate.

研究动机与目标

• 为解决在视觉问题生成中生成智能、目标导向型问题的挑战，而非任意或重复性查询。
• 克服现有VQG方法缺乏目标导向优化、仅依赖最终任务奖励的局限性。
• 设计一种强化学习框架，通过中间奖励显式鼓励简洁、渐进且富有信息量的问题。
• 通过优化问题生成的效率与信息量，提升GuessWhat?!游戏中目标物体识别的成功率。

提出的方法

• 将视觉问题生成建模为GuessWhat?!游戏设置下的目标导向任务，其中提问者需通过对话识别目标物体。
• 引入三种中间奖励：目标达成（用于早期完成目标）、渐进式（用于提升对目标物体的信心）和信息量（用于区分候选物体的问题）。
• 采用深度强化学习智能体优化问题生成，奖励机制引导策略避免冗余或无信息量的查询。
• 使用猜测者模型通过测量每次提问后正确识别目标物体的概率，来评估问题质量。
• 采用策略梯度方法端到端训练智能体，奖励设计用于平衡速度、清晰度与信息增益。
• 通过训练仅使用单一或组合奖励的智能体，开展消融实验，以分离每种中间奖励的贡献。

实验结果

研究问题

• RQ1 在强化学习框架中引入中间奖励，能否提升目标导向型视觉问题生成的质量与有效性？
• RQ2 渐进式与信息量奖励如何影响视觉对话中物体识别的效率与准确性？
• RQ3 在VQG任务中，组合使用多种中间奖励在多大程度上优于仅使用最终奖励信号？
• RQ4 VQG智能体能否生成比基线和最先进模型更快速、更准确地识别目标物体的问题？

主要发现

• 采用全部三种中间奖励（目标达成、渐进式和信息量）的所提方法在GuessWhat?!数据集上实现了最高的目标物体识别成功率。
• 仅使用目标达成奖励的智能体表现优于基线和最先进模型Sole-r，表明早期目标达成是提升问题生成质量的强信号。
• 渐进式奖励的贡献大于信息量奖励，表现为60.7%的问题呈现出渐进趋势，而基线和Sole-r分别为50.8%和57.3%。
• 信息量奖励将高质量问题比例（即对所有候选物体不作相同回答的问题）提升至87.7%，超过基线（84.7%）和Sole-r（86.3%）。
• 在人类评估中，76%的人类受试者能通过所提智能体生成的问题正确识别目标物体，而基线和Sole-r分别为52%和70%。
• 该智能体在更少的对话轮次内达成目标——尤其在第三轮——表明其收敛更快，减轻了人类参与者的认知负担。