[论文解读] Active Information Acquisition

He He, Paul Mineiro+1 more|arXiv (Cornell University)|Feb 5, 2016

Machine Learning and Algorithms参考文献 18被引用 9

一句话总结

本文提出了一种用于主动信息获取的端到端学习搜索框架，能够动态选择信息量丰富的输入部分，在用户定义的成本-质量权衡下优化预测准确率。通过使用访问真实标签的参考策略进行模仿学习，该方法学习到高效、任务特定的信息收集策略，自然地聚焦于显著区域，并在无显式监督的情况下对困难样本分配更多注意力。

ABSTRACT

We propose a general framework for sequential and dynamic acquisition of useful information in order to solve a particular task. While our goal could in principle be tackled by general reinforcement learning, our particular setting is constrained enough to allow more efficient algorithms. In this paper, we work under the Learning to Search framework and show how to formulate the goal of finding a dynamic information acquisition policy in that framework. We apply our formulation on two tasks, sentiment analysis and image recognition, and show that the learned policies exhibit good statistical performance. As an emergent byproduct, the learned policies show a tendency to focus on the most prominent parts of each instance and give harder instances more attention without explicitly being trained to do so.

研究动机与目标

• 开发一种通用的序列化、动态信息获取框架，以适应特定预测任务。
• 以灵活、用户可指定的方式解决信息获取成本与预测质量之间的权衡问题。
• 通过模仿学习使用可访问真实标签的参考策略，实现高效训练，避免复杂的强化学习。
• 学习隐式聚焦于显著输入区域并自适应地为困难样本分配更多注意力的信息选择策略。
• 在多种任务中展示适用性，包括情感分析和图像分类，并取得最先进性能。

提出的方法

• 将主动信息获取建模为学习搜索（L2S）框架内的序列决策过程。
• 使用可访问训练标签的参考策略，在训练期间模拟最优信息获取行为。
• 采用模仿学习训练策略网络，使其在测试时模仿参考策略。
• 定义复合损失函数，平衡任务特定的预测损失与信息获取成本。
• 将该框架应用于词袋模型（情感分析）和基于CNN的图像块特征提取器（图像分类）。
• 采用动态选择器，根据中间预测结果和历史选择，迭代选择输入单元（如词语、图像块）。

实验结果

研究问题

• RQ1 能否设计一种通用框架，以学习平衡成本与预测质量的动态信息获取策略？
• RQ2 与静态信息选择基线相比，该方法在准确率和效率方面表现如何？
• RQ3 所学习的策略是否自然地关注显著输入区域，并对困难样本分配更多注意力？
• RQ4 在该受限设置下，使用参考策略的模仿学习在多大程度上优于端到端强化学习？
• RQ5 该框架能否灵活应用于不同预测器和信息单元，并在多样化任务中有效运行？

主要发现

• 主动信息获取模型在情感分析和图像分类任务上均优于静态选择基线。
• 在PASCAL VOC 2007数据集上，当信息成本非零时，该模型在准确率-成本权衡上优于静态选择器。
• 热力图分析显示，随着成本约束的放松，策略的注意力从图像中心区域动态转移至边缘区域。
• 当信息免费（λ=0）时，模型仍会在未查看完整图像前停止，表明其偏好有限且集中的注意力。
• 即使没有显式困难度监督，模型仍学习到为困难样本选择更多图像块。
• 在低资源成本设置下，动态选择器对困难样本的平均图像块选择数量比简单样本高出最多30%。