[论文解读] Maximizing Information Gain in Partially Observable Environments via Prediction Reward

Yash Satsangi, Sungsu Lim+3 more|arXiv (Cornell University)|May 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

本文提出深度预期网络（DANs），一种无需模型的强化学习方法，通过使用预测奖励作为信念信息增益的代理，以在部分可观察环境中最大化信息增益。理论上证明了优化预测准确率可近似实现负熵最大化（即信息增益），从而实现高效、基于深度强化学习的主动感知，无需显式信念推断。该方法在传感器选择与视觉注意任务中表现出色。

ABSTRACT

Information gathering in a partially observable environment can be formulated as a reinforcement learning (RL), problem where the reward depends on the agent's uncertainty. For example, the reward can be the negative entropy of the agent's belief over an unknown (or hidden) variable. Typically, the rewards of an RL agent are defined as a function of the state-action pairs and not as a function of the belief of the agent; this hinders the direct application of deep RL methods for such tasks. This paper tackles the challenge of using belief-based rewards for a deep RL agent, by offering a simple insight that maximizing any convex function of the belief of the agent can be approximated by instead maximizing a prediction reward: a reward based on prediction accuracy. In particular, we derive the exact error between negative entropy and the expected prediction reward. This insight provides theoretical motivation for several fields using prediction rewards---namely visual attention, question answering systems, and intrinsic motivation---and highlights their connection to the usually distinct fields of active perception, active sensing, and sensor placement. Based on this insight we present deep anticipatory networks (DANs), which enables an agent to take actions to reduce its uncertainty without performing explicit belief inference. We present two applications of DANs: building a sensor selection system for tracking people in a shopping mall and learning discrete models of attention on fashion MNIST and MNIST digit classification.

研究动机与目标

• 解决将深度强化学习应用于信息增益依赖于信念状态的部分可观察环境的挑战。
• 提供一种理论基础扎实的方法，通过预测奖励近似信念信息增益，避免昂贵的显式信念推断。
• 通过揭示其在通过预测准确率最大化信息增益方面的共同基础，统一视觉注意、问答系统和内在动机等不同领域。
• 开发一种深度学习框架（DANs），使智能体能够在实时、连续环境中主动减少不确定性，如传感器选择和图像分类任务。
• 在传感器选择与注意力任务上对方法进行实证验证，结果表明其性能优于基线方法。

提出的方法

• 提出一个理论框架，证明通过最大化信念的任意凸函数（如负熵）可由最大化预测奖励来近似，并推导出精确的误差界。
• 引入预测奖励作为信息增益的代理，其中对未知变量的正确预测获得+1奖励，否则获得0奖励。
• 推导出期望预测奖励与负熵（信息增益）之间的精确关系，从而实现误差分析与代理奖励的优化。
• 开发深度预期网络（DANs），一种无模型强化学习架构，通过联合学习策略与预测器，并利用预测奖励驱动探索与不确定性降低。
• 将DANs应用于持续学习场景，其中未知变量（如人员位置）随时间动态演化，不同于静态分类任务。
• 使用深度神经网络从观测中预测未知变量，策略通过策略梯度方法训练以最大化预测准确率。

实验结果

研究问题

• RQ1 预测奖励能否在部分可观察环境中作为有效且理论基础扎实的信息增益代理？
• RQ2 最大化预测奖励与最大化信息增益（负熵）之间的精确误差是什么？
• RQ3 如何训练一个深度强化学习智能体在不进行显式信念推断的情况下减少不确定性？
• RQ4 所提出的方法能否在信息最大化这一共同原则上统一视觉注意、问答系统和内在动机等不同领域？
• RQ5 DAN 架构在传感器选择与视觉注意等主动感知任务中是否优于现有方法？

主要发现

• 期望预测奖励为信息增益提供了一个下界，二者之间的差距通过凸对偶性被精确刻画。
• 通过适当设计预测任务，可最小化最大化预测奖励与最大化信息增益之间的误差，从而实现有效近似。
• DANs 在商场中跟踪人员的传感器选择任务中达到最先进性能，其跟踪准确率与信息增益均优于基于模型的基线方法。
• 在 Fashion MNIST 与 MNIST 数字分类任务中，DANs 学习到离散注意力机制，通过聚焦于图像中信息丰富的区域，提升了分类准确率，即使在固定大小的注视区域下亦然。
• 该方法实现了在连续、动态环境中无需显式信念状态估计或手工设计世界模型的无模型深度强化学习主动感知。
• 理论框架可推广至任意信念的凸函数，从而扩展至更广泛的不确定性最小化问题。