[论文解读] Lifelong Learning for Image Captioning by Asking Natural Language Questions

Kevin Shen, Amlan Kar+1 more|arXiv (Cornell University)|Dec 1, 2018

Multimodal Machine Learning Applications参考文献 16被引用 4

一句话总结

本文提出了一种终身图像字幕代理，通过自然语言提问而非完整字幕查询来实现自我提升。通过使用决策模块基于不确定性和教师专家知识来提出有针对性的问题，该代理在MSCOCO数据集上实现了优于基线主动学习方法的性能，且所需的人工监督更少。

ABSTRACT

In order to bring artificial agents into our lives, we will need to go beyond supervised learning on closed datasets to having the ability to continuously expand knowledge. Inspired by a student learning in a classroom, we present an agent that can continuously learn by posing natural language questions to humans. Our agent is composed of three interacting modules, one that performs captioning, another that generates questions and a decision maker that learns when to ask questions by implicitly reasoning about the uncertainty of the agent and expertise of the teacher. As compared to current active learning methods which query images for full captions, our agent is able to ask pointed questions to improve the generated captions. The agent trains on the improved captions, expanding its knowledge. We show that our approach achieves better performance using less human supervision than the baselines on the challenging MSCOCO dataset.

研究动机与目标

• 使人工智能代理能够通过从人类反馈中学习，持续扩展知识，超越静态数据集。
• 通过提出聚焦的、自然语言的问题而非完整字幕，减少图像字幕任务中的人工标注工作量。
• 通过在决策框架中整合不确定度估计与教师专家知识，模拟类人学习过程。
• 通过使用有针对性的人类查询进行迭代优化，提升字幕生成性能。

提出的方法

• 该代理使用字幕生成模块生成图像描述，并使用问题生成模块制定自然语言查询。
• 决策模块评估字幕预测的不确定性，并根据教师专家知识判断是否需要向人类查询。
• 系统在终身学习循环中运行：生成字幕 → 评估不确定性 → 决定是否提问 → 接收答案 → 重新训练。
• 该代理隐式地推理不确定度和教师可靠性，以最小化冗余或低价值的查询。
• 该方法用有针对性的、上下文相关的具体问题替代传统主动学习中的完整字幕查询，以提高样本效率。

实验结果

研究问题

• RQ1 图像字幕代理如何在保持或提升性能的同时减少人工标注工作量？
• RQ2 在视觉-语言任务的主动学习中，自然语言问题是否比完整字幕查询更有效？
• RQ3 将不确定度估计与教师专家知识整合，如何提升终身学习中的查询选择效果？
• RQ4 基于问题的学习在多大程度上优于标准主动学习在图像字幕任务中的表现？

主要发现

• 所提出的代理在MSCOCO基准测试中表现优于基线主动学习方法。
• 与现有图像字幕主动学习方法相比，该代理所需的人工监督更少。
• 通过提出有针对性的问题而非完整字幕，该代理在降低标注成本的同时提升了字幕质量。
• 在决策过程中整合不确定度与教师专家知识，可实现更有效的查询选择。