[论文解读] An Active Information Seeking Model for Goal-oriented Vision-and-Language Tasks.

Ehsan Abbasnejad, Qi Wu+3 more|arXiv (Cornell University)|Dec 16, 2018

Multimodal Machine Learning Applications参考文献 39被引用 8

一句话总结

该论文提出了一种强化学习模型，通过在其对不确定知识的内部信念分布上主动寻求信息，来解决视觉与语言任务中的信息获取问题。通过从该分布中采样动作，并选择能最大化信息增益的动作，该模型在视觉对话和视觉查询生成任务中均优于基线方法，更有效地减少了不确定性。

ABSTRACT

As Computer Vision algorithms move from passive analysis of pixels to active reasoning over semantics, the breadth of information algorithms need to reason over has expanded significantly. One of the key challenges in this vein is the ability to identify the information required to make a decision, and select an action that will recover this information. We propose an reinforcement-learning approach that maintains an distribution over its internal information, thus explicitly representing the ambiguity in what it knows, and needs to know, towards achieving its goal. Potential actions are then generated according to particles sampled from this distribution. For each potential action a distribution of the expected answers is calculated, and the value of the information gained is obtained, as compared to the existing internal information. We demonstrate this approach applied to two vision-language problems that have attracted significant recent interest, visual dialogue and visual query generation. In both cases the method actively selects actions that will best reduce its internal uncertainty, and outperforms its competitors in achieving the goal of the challenge.

研究动机与目标

• 解决在目标导向型视觉与语言任务中识别和获取相关信息的挑战。
• 通过在信息状态上的信念分布显式建模智能体内部知识的不确定性。
• 通过选择能最大化期望信息增益的动作，实现主动决策。
• 通过有意识的信息获取，提升视觉语言任务（如视觉对话和视觉查询生成）的性能。
• 证明感知不确定性的动作选择优于被动或基于启发式的方法。

提出的方法

• 该模型通过在内部信息状态上的信念分布来表示对已知信息和所需信息的不确定性。
• 基于从该信念分布中采样的粒子生成动作，从而探索潜在的信息获取行为。
• 对于每个候选动作，模型预测期望答案的分布，以估计期望信息增益。
• 通过将期望答案分布与当前信念进行比较来计算信息增益，优先选择能最大程度减少不确定性的动作。
• 该方法利用强化学习，基于视觉语言任务中的长期目标实现来优化动作选择。
• 该框架应用于两个任务：视觉对话和视觉查询生成，其中动作对应于问题选择或查询制定。

实验结果

研究问题

• RQ1 智能体如何在视觉与语言任务中主动识别并获取最富信息量的信息？
• RQ2 在不确定环境中，维持对内部知识的信念分布在多大程度上能改善决策？
• RQ3 基于信息增益的动作选择能否在视觉对话和查询生成中优于非主动或启发式策略？
• RQ4 感知不确定性的动作选择如何影响模型实现任务目标的能力？

主要发现

• 所提出的模型比基线方法更有效地选择能减少内部不确定性的动作。
• 在视觉对话任务中，通过选择能最大化信息增益的问题，模型实现了更优的性能。
• 在视觉查询生成任务中，模型通过聚焦于图像中高不确定性区域，生成了更准确且相关的查询。
• 基于信念的动作采样与强化学习框架相结合，实现了更快的收敛速度和更优的目标达成。
• 该方法在视觉对话和视觉查询生成的基准测试中均优于竞争性基线模型。